Politik & Verwaltung Der Mensch im Fokus

Next Article

LEISTUNGSFÄHIGE 3-LITER-PCS

Der Deutsche Ethikrat hat seine Stellungnahme Mensch und Maschine – Herausforderungen durch Künstliche Intelligenz, in der er die Auswirkungen digitaler Technologien auf das menschliche Selbstverständnis und Miteinander umfassend untersucht, veröffentlicht. Darin wird deutlich, dass der Einsatz von KI darauf ausgerichtet sein muss, dass demokratische Werte erhalten und die Diskriminierung einzelner Gruppen verhindert werden muss Das hat Folgen auch für eGovernment.

Nicht erst seit KI-Systeme wie ChatGPT Texte zu beliebigen Themen erstellen und damit in einen Bereich eindringen, der lange als allein dem Menschen vorbehalten galt, sorgt das Thema Künstliche Intelligenz für hitzige Diskussionen in Politik und Gesellschaft. Zu Recht, denn KI-Anwendungen stehen kurz davor in viele Lebensbereiche einzudringen. Stellen Sie sich vor, eine KI würde Ihnen ein Knöllchen wegen überhöhter Geschwindigkeit oder wegen Falschparkens zustellen. Wie würden Sie darauf reagieren?

Die automatisierte Zustellung des Kinder- und Erziehungsgeldes würden Sie vermutlich begrüßen. Aber würden Sie das bei einem Sozialhilfebescheid auch noch so sehen? Oder wäre Ihnen der Ermessensspielraum eines menschlichen Sachbearbeiters lieber?

Noch vertrackter wird die Sache im medizinischen Bereich. Würden Sie die Bildanalyse bei einer anstehenden Untersuchung der KI oder doch lieber dem behandelnden Arzt anvertrauen? Und wer haftet im Falle einer Fehldiagnose? Sie sehen, es gibt Fragen über Fragen. Fragen, die zudem nur in einem umfassenden gesellschaftlichen Diskurs zu beantworten sind. Die Stellungnahme des Deutschen Ethikrates, die nun in einer Vorabfassung vorliegt, kommt deshalb zum richtigen Zeitpunkt. Der

Exkurs

KI in der Medizin

Deutsche Ethikrat setzt sich darin exemplarisch in vier Anwendungsbereichen – Medizin, schulische Bildung, öffentliche Kommunikation und Meinungsbildung sowie Öffentliche Verwaltung – mit dem Thema auseinander.

Öffentliche Verwaltung und KI

In seiner Untersuchung verweist der Ethikrat insbesondere auf die ethischen Fragen, die sich im Zusammenhang „algorithmischer Automatisierung im Verwaltungshandeln“ ergeben. Das daraus entstehende Spannungsfeld beschreibt der Bericht so: „Seit den 1970erJahren werden Konzepte für eine gleichzeitig effizientere wie auch bürgernähere Öffentliche Verwaltung im Rahmen von Digitalisierungsstrategien entwickelt, erprobt und teils umgesetzt. Damit verbinden sich unter anderem Hoffnungen auf eine Rationalisierung und Beschleunigung staatlichen Verwaltungshandelns, eine effektivere und kohärentere Datennutzung sowie eine Ausweitung der Einbeziehung wissenschaftlichen und bürgerschaftlichen Sachverstandes.“

Dem stehe die Schreckensvision einer sogenannten „Algokratie“ gegenüber, in der autonome Softwaresysteme die staatliche Herrschaft über Menschen ausüben,

Der Deutsche Ethikrat befasst sich in seiner Stellungnahme auch mit dem Einsatz von KI-Anwendungen in der Medizin. Wenn menschliche Tätigkeiten an Maschinen delegiert werden, kann dies für verschiedene Personengruppen, Akteure und Betroffene ganz unterschiedliche Auswirkungen haben“, sagt Judith Simon, die Sprecherin der Arbeitsgruppe, die den Bericht erstellte. „Daher ist es wichtig, genau hinzuschauen, für wen dies mit erweiterten Handlungsspielräumen verbunden ist und wessen Handlungsmöglichkeiten eher vermindert werden.“

Dieses Anliegen schlägt sich auch in den Empfehlungen nieder, die der Deutsche Ethikrat zum Einsatz von KI in jedem der vier untersuchten Anwendungsbereiche formuliert. Für den Medizinbereich richten sich Empfehlungen unter anderem auf die Qualitätssicherung bei der Entwicklung und Nutzung von KI-Produkten, auf die Vermeidung ärztlicher Kompetenzverluste und auf das Ziel, die Privatsphäre von Patientinnen und Patienten mit intensiver Datennutzung in der medizinischen Forschung in Einklang zu bringen. Dabei gilt es, das Vertrauensverhältnis zwischen allen beteiligten Personen zu schützen und die vollständige Ersetzung medizinischer Fachkräfte zu vermeiden.

Bürgerinnen und Bürgern durchgehend Entscheidungen unterworfen sind, deren Algorithmen intransparent sind und keinen Widerspruch dulden. Würden in den positiven Stimmen die Potenziale der Bürgernähe und der niedrigschwelligen digitalen Erreichbarkeit von Verwaltungsleistungen vom Wohnzimmer aus betont, so würden kritische Stimmen digitale Technologien als weiteren Schritt zu einer technokratischen Bürokratie sehen, in der die Kommunikation hinter anonymen Datenmengen und standardisierten, noch dazu schwer verständlichen Benutzeroberflächen verschwinde. Auch der Ethikrat nimmt diese Entwicklung auf, wenn er schreibt: „Tatsächlich lässt sich in den vergangenen Jahren in vielen Ländern in und außerhalb Europas ein zunehmender Einsatz von automatisierten Entscheidungssystemen in der Öffentlichen Verwaltung beobachten.“ Inzwischen gebe es Anwendungen für die Bewertung von Arbeitsmarktchancen Jobsuchender in Österreich und Polen über die Verwendung von Software für die Prüfung und Vergabe von Sozialleistungen in England, Frankreich und den Niederlanden bis hin zu prädiktiven Analysen im Betreuungs- und Fürsorgebereich in Finnland und Spanien, aber auch im Bereich der Polizei.

Auch wenn in Deutschland der Einsatz von automatisierten Entscheidungssystemen in der Öffentlichen Verwaltung noch selten sei, so der Ethikrat, so fänden sich auch hier einzelne Projekte wie etwa die automatische Berechnung des Arbeitslosengelds durch das ITSystem ALLEGRO der Bundesagentur für Arbeit oder das in Hamburg zum Einsatz kommende JUS-ITSystem für die Koordination und Abrechnung von Sozialdiensten. Der Ethikrat weist darauf hin, das den Vorteilen solcher Systeme, wie der Steigerung der Effizienz von Verwaltungsvorgängen und der besseren Absicherung von Entscheidungen angesichts häufig komplexer Datenlagen, Risiken an anderen Stellen gegenüber stehen. Hier sei zunächst einmal die Qualität der verwendeten Systeme zu bewerten und die Frage zu stellen, ob und in welchem Umfang die verwendeten Systeme Diagnosen und Prognosen tatsächlich verbessern. Es stelle sich in diesem Kontext auch die Frage, ob die Genau-

Der Bildungsgipfel – der noch keiner war – und was sich daraus lernen lässt.

Der Ethikrat fordert, die Rolle der KI in der öffentlichen Kommunikation und Meinungsbildung kritisch zu hinterfragen igkeit für verschiedene Anwendungskontexte oder für verschiedene Personengruppen gleich sei, oder ob es möglicherweise systematische Verzerrungen oder Diskriminierungen gibt (sogenannter algorithmic bias). In ethischer Hinsicht seien hierbei insbesondere Themenkomplexe von Bedeutung, die einerseits Fragen von Autonomie, Autorschaft und Verantwortung sowie andererseits Fragen der Gerechtigkeit berühren.

Der Ethikrat liefert auch gleich ein eindrückliches Beispiel für diese Problematik, in dem er suchmit der algorithmischen Chancenprognose bei der sogenannten Arbeitsmarktchancen-Assistenz-SystemAlgorithmus (AMASAlgorithmus) in Österreich befasst. Dieser kommt in der Sozialverwaltung dann zum Einsatz, wenn bei einer arbeitssuchenden Person die Chancen ermittelt werden, innerhalb eines bestimmten Zeitfensters erfolgreich wieder in ein reguläres Erwerbsarbeitsverhältnis zu gelangen. Dazu heißt es beim Ethikrat: „Das System klassiert alle Arbeitssuchenden in die Klassen mit niedriger, mittlerer oder hoher Erfolgsprognose. Dementsprechend werden ihnen bestimmte Service-, Beratungs- oder Betreuungsleistungen angeboten oder aber auch nicht angeboten.“

KI ohne Diskriminierung

Zwar sei die Entscheidung der Fachkräfte formal vom Vorschlag des Systems abgetrennt. Personen, die mit ihrer Entscheidung von der algorithemenbasierten Einstufung abweichen und eine Umstufung vornehmen, müssen dies aber ausdrücklich vermerken und begründen, so der Ethikrat in seiner kritischen Analyse.

Der österreichische AMAS-Algorithmus – so eine interdisziplinäre Studie der Österreichischen Akademie der Wissenschaften und des dortigen Instituts für Technikfolgenabschätzung – sei daher ganz offensichtlich an den Werten, Normen und Zielen einer restriktiven Fiskalpolitik ausgerichtet. Ein solches System sei mitnichten neutral. Vielmehr laufe es den Zielen eines personenorientiertes Hilfesystems, das individuelle Hilfebe- darfe betroffener Personen fokussieren muss, diametral zuwider.

Fazit

In seinem Fazit des KI-Einsatzes in der Öffentlichen Verwaltung kommt der Ethikrat schließlich zu folgender Einschätzung. „Die Digitalisierung der Öffentlichen Verwaltung wird seit über zwanzig Jahren zumeist unter Aspekten von Bürgerfreundlichkeit, Modernität sowie Effizienz und Effektivität thematisiert. KI und dadurch ermöglichte automatisierte Entscheidungsverfahren führen zu neuen Möglichkeiten und Herausforderungen, die erheblich weitreichende ethische und demokratietheoretische Fragen aufwerfen.“

Denn da staatliches Handeln von vielen Menschen zu einem großen Teil über die Öffentliche Verwaltung erfahren werde, beispielsweise in Finanzverwaltung, Meldebehörden oder Sozialwesen, sei mit der der Einführung beispielsweise automatisierter Entscheidungsverfahren unmittelbar das Verhältnis von Bürgerschaft und Staat betroffen. Dies gelte etwa in Bezug auf Nachvollziehbarkeit, Erklärbarkeit und Vertrauenswürdigkeit im Verwaltungshandeln.

Eine in diesen Hinsichten als legitim anerkannte Verwaltung sei für ein funktionierendes Gemeinwesen und die Akzeptanz von Demokratie und Staat wesentlich. Für den Einsatz von KI in der Öffentlichen Verwaltung rät der Ethikrat zu Ansätzen, die vor Diskriminierungen schützen und dem blinden Befolgen maschineller Empfehlungen vorbeugen. Weiterhin fordert er, dass die Einspruchsrechte von Betroffenen gewährleistet werden. mk

Weitere Informationen

Den vollständigen Bericht des Deutschen Ethikrates zum Einsatz von Künstlicher Intelligenz finden Sie hier:

[ t1p.de/s04ie ]