Version 4.0 des Chatbots enorm leistungsfähig
Redaktion: Universität Duisburg-Essen
PRESSEMITTEILUNG
Duisburg/gc. Das erste Mal durchgefallen – passiert. Also muss der Prüfling noch mal ran und besteht im zweiten Versuch das Wirtschaftsprüferexamen. Herzlichen Glückwunsch, ChatGPT!
Forschende der Universität Duisburg-Essen (UDE) haben zusammen mit amerikanischen Kolleg:innen die Künstliche Intelligenz (KI) zur Prüfung antreten lassen. Die Version 4.0 des Chatbots hat die amerikanischen Prüfungen mit notorisch hohen Durchfallquoten problemlos bestanden. Wäre das auch in Deutschland so?
ChatGPT 3.5 hatte noch nicht genug gelernt: die frühe Version der KI konnte keine einzige Prüfung aus dem US-amerikanischen Rechnungswesen bestehen und kam durchschnittlich auf 53,1 Prozent der Punkte. Anders sieht es beim Folgemodell ChatGPT 4 aus, mit zusätzlichen Plug-ins, Training und mehr Ressourcen: mit im Schnitt 85,1 Prozent der Punkte bestand der Chatbot alle Prüfungsteile.
Die Studie untersuchte unterschiedliche Abschlüsse wie den zum Certified Public Accountant (CPA) sowie zum Enrolled Agent – vergleichbar mit den deutschen Abschlüssen in der Wirtschaftsprüfung und Steuerberatung. Lassen sich die Ergebnisse aus den USA daher auf deutsche Zertifizierungsprüfungen im Rechnungswesen übertragen?
„Grundsätzlich ja“, meint Dr. Marc Eulerich, Professor für Interne Revision an der Mercator School of Management der UDE. Einen wichtigen Unterschied gibt es hingegen: während die amerikanischen CIA (Certified Internal Auditor) und CMA (Certified Management Accountant) als Multiple-Choice-Prüfungen abzulegen sind, werden in Deutschland auch konkrete Anwendungsfälle abgefragt. „Einige Antworten, die ChatGPT 3.5 dort gegeben hat, waren tatsächlich zum Schmunzeln“, so Eulerich.
„Aber gerade durch die technische Entwicklung und die Verbindung mit anderen Technologien, wie zum Beispiel Plug-ins, ist die KI in Version 4 auch in diesen komplexeren Bereichen nun deutlich leistungsfähiger und konnte auch diese Hürde meistern.“ Prof. Dr. Stefan Rumann, Prorektor der UDE für Studium, Lehre und Bildung, ordnet das Ergebnis für die UDE ein: „Wir sehen die Entwicklung als Chance für neue Impulse, aber auch als Hinweis auf eine gegebenenfalls notwendige Anpassung des Prüfungsrechts.“
Das ChatGPT und Co. ganze Berufe verändern werden, ist für Eulerich deshalb klar. Die KI kann Aufgaben vereinfachen und automatisieren, der Mensch seine eigenen Ressourcen besser einsetzen. Für das Forschungsteam um Professor Eulerich liegt in dem Forschungsthema noch viel Potenzial und weiterer Klärungsbedarf: „Es bleibt etwa die Frage offen, inwieweit man sich in der Praxis zu sehr auf die Ergebnisse solcher Systeme verlässt.“
Deshalb wird es laut Eulerich im Lehrbetrieb zukünftig viel mehr um die grundsätzliche Veränderung solcher Prüfungsformen gehen müssen.
Wissenschaftliche Ansprechpartner:
Prof. Dr. Marc Eulerich
Mercator School of Management
Tel. 0203/37 9 2600
marc.eulerich@uni-due.de
_____________________________________