Hauptsächlich bei Hochrisiko-Systemen relevant
Redaktion: Universität des Saarlandes
PRESSEMITTEILUNG
Saarbrücken/gc. Am 1. August 2024 trat das EU-Gesetz zur Künstlichen Intelligenz in Kraft. Damit wird in der Europäischen Union künftig geregelt, was Künstliche Intelligenz darf und was nicht. Wie sich das Gesetz auf die praktische Arbeit von Programmiererinnen und Programmierern auswirkt, hat nun ein Team um den Informatikprofessor Holger Hermanns von der Universität des Saarlandes und die Juraprofessorin Anne Lauber-Rönsberg von der Technischen Universität Dresden untersucht und in einem Paper veröffentlicht, das im Herbst publiziert wird.
„Der AI Act zeigt, dass die Politik verstanden hat, dass KI auch eine Gefahr sein kann, insbesondere, wenn sie in sensible oder gesundheitlich relevante Bereiche eingreift“, sagt Holger Hermanns, Informatikprofessor an der Universität des Saarlandes. Aber wie wirkt sich der AI Act tatsächlich auf die Arbeit derjenigen aus, die sie erschaffen? „Was muss ich überhaupt lesen von dem Ding?“, fasst Hermanns die Frage zahlloser Programmiererinnen und Programmierer zusammen. Denn nicht jeder Programmierer wird sich die (im Deutschen) 144 Seiten starke Verordnung von Anfang bis Ende durchlesen wollen – und können.
Gemeinsam mit seiner Doktorandin Sarah Sterz, der Postdoktorandin Hanwei Zhang sowie Anne Lauber-Rönsberg, Juraprofessorin an der TU Dresden, und ihrem wissenschaftlichen Mitarbeiter Philip Meinel hat Holger Hermanns ein Paper mit dem Titel „AI Act for the Working Programmer“ geschrieben, in dem diese Frage im Grundsatz beantwortet wird. Der Kern ihrer Erkenntnis: „Entwickler und Nutzer werden unterm Strich nicht wirklich viel Veränderung spüren“, fasst Sarah Sterz zusammen. „Hauptsächlich bei der Entwicklung sogenannter Hochrisiko-Systeme werden die Vorschriften des AI Act relevant“, so die Informatikerin.
Das liegt daran, dass das europäische KI-Gesetz insbesondere darauf abzielt, die späteren Nutzer eines Systems davor zu schützen, dass eine KI für sie schädlich bzw. ungerecht sein könnte. Greift eine KI nicht in sensible Bereiche ein, fällt sie auch nicht unter die umfangreichen Vorschriften für Hochrisiko-Systemen.
Holger Hermanns unterstreicht das anhand eines konkreten Beispiels: „Die Entwickler einer KI-Software, die Bewerbungen sichtet und Bewerber möglicherweise schon aussortiert, bevor überhaupt ein Mensch aus der Personalabteilung darauf geschaut hat, unterliegt den Vorschriften des AI Acts, sobald das Programm auf den Markt kommt oder in Betrieb genommen wird. Die KI hingegen, die in einem Computerspiel die Reaktionen von Gegnern in Autorennspielen simuliert, kann nach wie vor entwickelt und vermarktet werden, ohne dass sich deren Entwickler über den AI Act Gedanken machen müssen.“
Die Regeln für solche Hochrisiko-Systeme, zu der neben der Bewerbungssoftware zum Beispiel auch Kreditscoring-Systeme, Software für medizinische Bereiche oder auch Programme, die den Zugang zu Bildungseinrichtungen wie Universitäten managen, gehören, sind im nun in Kraft tretenden KI-Gesetz streng. „Zum einen muss sichergestellt werden, dass die Trainingsdaten so sind, dass die daraus trainierte KI tatsächlich auch ihre Aufgabe ordentlich erfüllen kann“, so Holger Hermanns. Hier dürfe es zum Beispiel nicht dazu kommen, dass eine Gruppe von Bewerbern diskriminiert wird, weil sie in den Trainingsdaten kaum vorkommen.
„Außerdem muss das System aufzeichnen, was genau zu welchem Zeitpunkt passiert, ähnlich wie eine Black Box im Flugzeug“, ergänzt Sarah Sterz. Die Funktionsweise des Systems muss darüber hinaus dokumentiert sein wie in einem klassischen Benutzerhandbuch. Und der Provider, also der Anbieter einer Software, muss dem späteren Betreiber alle Informationen zur Verfügung stellen, damit dieser das System während seiner Benutzung auch ordnungsgemäß beaufsichtigen kann, um Fehler zu erkennen und zu berichtigen. Über diese so genannte „Human Oversight“ haben sich Wissenschaftlerinnen und Wissenschaftler jüngst in einem anderen Paper Gedanken gemacht (siehe Link unten).
„Der AI Act schränkt einige Dinge schon sehr maßgeblich ein. Die meisten Anwendungen jedoch werden nur sehr bedingt betroffen sein“, fasst Holger Hermanns zusammen. Was heute schon verboten ist, zum Beispiel Gesichtserkennung zur Interpretation von Emotionen, wird weiterhin verboten bleiben. Unproblematische KI-Systeme wie zum Beispiel in Videospielen oder für Spam-Filter sind kaum vom AI Act betroffen. Und die erwähnten Hochrisiko-Systeme fallen erst dann unter die Regulierung durch das Gesetz, wenn sie in die „freie Wildbahn“ gelangen, wie Sarah Sterz es formuliert, das heißt wenn sie auf den Markt kommen oder in Betrieb genommen werden. In Forschung und Entwicklung, ob staatlich oder privat, wird es nach wie vor keine Beschränkungen geben.
„Ich sehe wenig Risiko, dass Europa durch das KI-Gesetz von der internationalen Entwicklung abgehängt wird“, so das Fazit von Holger Hermanns. Im Gegenteil, er und seine Kolleginnen und Kollegen kommen zu einem wohlwollenden Urteil über das weltweit erste Gesetz, das Künstlicher Intelligenz auf einem ganzen Kontinent einen rechtlichen Rahmen gibt: „Der AI Act ist ein Versuch, KI auf vernünftige Weise zu regulieren, und das ist nach unserem Dafürhalten gut gelungen.“
Wissenschaftliche Ansprechpartner:
Prof. Dr. Holger Hermanns
Tel.: 0681 302-5630
hermanns@cs.uni-saarland.de
Sarah Sterz
Tel.: 0681 302 5589
sterz@depend.uni-saarland.de
Originalpublikation:
Preprint, das Papier erscheint in AISoLA 2024, Springer LNCS:
Hermanns, H., Lauber-Rönsberg, A., Meinel, P., Sterz, S., Zhang, H. (2024). AI Act for the Working Programmer: https://doi.org/10.48550/arXiv.2408.01449
Weitere Informationen:
Friederike Meyer zu Tittingdorf Pressestelle der Universität des Saarlandes
______________________________________