Effizienzsteigerung, Sparmaßnahmen oder verbessertes Service - An Künstliche Intelligenz (KI) werden auch in der öffentlichen Verwaltung hohe Erwartungen geknüpft. Aber was genau kann KI leisten und welche Erfahrungen konnte man international auf diesem Feld bereits gewinnen?

Fragen wie diesen widmete sich die Diskussionsveranstaltung “Künstliche Intelligenz im öffentlichen Sektor” an der Österreichischen Akademie der Wissenschaften (ÖAW), organisiert vom Fachbeirat für Ethik der Künstlichen Intelligenz der Österreichischen UNESCO-Kommission, dem Institut für Technikfolgen-Abschätzung der ÖAW und der ÖAW-Kommission Demokratie in Digitalen Gesellschaften. Im Gespräch erläutern die Keynote-Sprecherin Anne Kaun von der Universität Södertörn und ÖAW-Forscherin Doris Allhutter die Chancen und Herausforderungen, die mit der Nutzung von KI-Systemen in öffentlichen Institutionen verbunden sind.

KI-Begeisterung in Politik und Verwaltung

Frau Kaun, in ihrem Vortrag ging es um den Einsatz von KI-Systemen für die Wohlfahrt. Über welche Einsatzgebiete sprechen wir hier?

Anne Kaun: Im Projekt, auf das ich Bezug genommen habe, war Wohlfahrt sehr breit definiert. Wir haben Systeme analysiert, die an die Kerninstrumente des Wohlfahrtsstaates gebunden sind, von der regionalen bis zur nationalen Ebene, aber auch Systeme, die auf der Verwendung von aggregierten Daten basieren, wie zum Beispiel Sensoren in Smart-City-Initiativen. Wir haben zudem die Situation in acht Ländern angeschaut, damit wir verschiedene historische Entwicklungen und kulturelle Kontexte vergleichen können: Österreich, Deutschland, Polen, Estland, Dänemark, Schweden, Italien und Portugal. 

Allgemein lässt sich sagen, dass es in allen Ländern spürbaren KI-Enthusiasmus seitens der Politik und der Verwaltung gibt.

Werden KI-Systeme in der Praxis schon genutzt?

Anne Kaun: Allgemein lässt sich sagen, dass es in allen Ländern spürbaren KI-Enthusiasmus seitens der Politik und der Verwaltung gibt. Die Hoffnung ist, dass durch den Einsatz von KI-Systemen Effizienzgewinne erzielt werden können, die helfen, den demografischen Wandel und die sinkenden Einnahmen für Staaten abzufedern. Wo KI-basierte Lösungen eingesetzt werden, unterscheidet sich aber deutlich. Das liegt auch an unterschiedlichen Zuschreibungen. In Deutschland zum Beispiel gibt es in der Bevölkerung ein hohes Risikobewusstsein für Datenschutzaspekte. In Estland ist das Vertrauen in Digitaltechnik hingegen deutlich ausgeprägter. Es ist nicht überall so, dass die Menschen automatisierten Systemen eher trauen als Expert:innen. 

Doris Allhutter: Bis jetzt gibt es in Österreich kein Register für KI-Systeme in der Verwaltung. Die UNESCO-Empfehlung zur Ethik der KI, die ja auch Anlass unserer Veranstaltung an der ÖAW war, sagt im Kern, dass bei einem Einsatz von Künstlicher Intelligenz, Algorithmen oder automatisierter Datenverarbeitung die Achtung der Grund-, Freiheits- und Menschenrechte zu wahren ist.  Dafür müssen wir überlegen, was der Einsatz von KI im öffentlichen Sektor bedeutet und welche institutionellen Strategien gewährleisten können, dass die Ergebnisse menschenrechtskonform sind. Der Staat hat hier eine Transparenzpflicht. Systeme, die automatisiert Entscheidungen treffen, müssen auch bei Zwischenschritten nachvollziehbar agieren. Das Prinzip “Human in the Loop” ist nicht ausreichend. Die Einführung eines Registers für KI-Systeme wäre deshalb ein erster Schritt.

Erste Erfahrungen

Welche Systeme gibt es schon?

Anne Kaun: Es gibt einzelne Systeme, die als Entscheidungshilfen in Ämtern genutzt werden. Wie verbreitet solche Lösungen sind, ist schwer zu sagen, weil die Definition von KI sehr schwammig ist. Der Begriff umfasst sowohl einfache statistische Algorithmen als auch komplexe automatisierte Bewertungssysteme. Die meisten KI-Systeme, die tatsächlich schon genutzt werden, sind Teil von Innovationsprojekten, die für eine begrenzte Zeit laufen, aber nicht im Regelbetrieb implementiert sind. Chatbots sind in einigen Ländern schon im Amtsalltag angekommen, dabei handelt es sich aber nicht immer um KI-Systeme, das können auch schlichte interaktive FAQs sein. Im Bereich Smart-City-Technologien gibt es derzeit viele Projekte. In Polen zum Beispiel ein Abfallmanagementsystem, das mithilfe von vernetzten Mülltonnen optimiert wird. Wenn statt Kameras smarte Sensoren zum Einsatz kommen, ist das auch mit der Europäischen Datenschutzgrundverordnung kompatibel. Solche Sensoren, die zum Beispiel auch erfassen können, wie viele Handys in der Umgebung ins Netz eingewählt sind, sind mittlerweile weit verbreitet. 

Wenn Arbeitsagenturen die Lage von Jobsuchenden anhand eines computergenerierten Scores bewerten, ist nicht mehr transparent, welche Entscheidungsregeln gelten.

Doris Allhutter: Europaweit entstehen auch Systeme, die Personenmerkmale mit Handlungsmustern verknüpfen und dann bestimmte Annahmen über Bürger:innen treffen. Derartige Systeme verändern staatliches Handeln. Wenn Arbeitsagenturen die Lage von Jobsuchenden anhand eines computergenerierten Scores bewerten, ist nicht mehr transparent, welche Entscheidungsregeln gelten. In Österreich ist der Algorithmus des Arbeitsmarktservice (AMS, Anm.) immer noch vor Gericht. Der Verwaltungsgerichtshof hat inzwischen festgestellt, dass es sich hier um automatisiertes Profiling handelt. Das AMS argumentiert zwar, dass Sachbearbeiter:innen die Letztentscheidung treffen, aber die Bewertungen von Arbeitssuchenden wird trotzdem automatisch erstellt. Und diese Bewertung entscheidet dann zum Beispiel, wer Weiterbildung bekommt und wer nicht.

Chatbots und Apps

Bringen KI-Systeme Vorteile für Bürger:innen?

Anne Kaun: Es kristallisieren sich langsam Anwendungen heraus, wo der Einsatz sinnvoll sein kann. Deshalb ist es wichtig, jetzt zu diskutieren, welche Probleme und Konsequenzen der Einsatz mit sich bringt. Für Bürger:innen geht es in erster Linie um die Lösungen, die an den Schnittstellen zu den Institutionen eingesetzt werden. Das sind zum Beispiel die Chatbots und Apps, über die Einreichungen gemacht werden können. Solche Systeme vereinfachen den Alltag, aber es stellt sich immer die Frage, welche Gruppen ausgeschlossen werden. Nicht alle Menschen haben Zugang zu digitalen Schnittstellen und das ist nicht nur eine Altersfrage. Wenn zum Beispiel kognitive Einschränkungen vorliegen, kann das problematisch sein. In Schweden müssen deshalb alle Systeme auch analog zugänglich bleiben. Die digitalen Fertigkeiten der Menschen werden dort verbessert, indem in den Bürgerämtern Hilfe zur digitalen Selbsthilfe angeboten wird und Anträge gemeinsam mit Bürger:innen ausgefüllt werden. 

Der technische Enthusiasmus ist so groß, dass selten Effizienzstudien gemacht werden.

Gibt es einen Nachweis dafür, dass KI-Systeme die Verwaltung effizienter machen?

Anne Kaun: Der technische Enthusiasmus ist so groß, dass selten Effizienzstudien gemacht werden. In Schweden wurde in einem Projekt untersucht, ob Mitarbeiter:innen von Krankenkassen bei der Beurteilung komplexer Ansprüche schneller sind, wenn KI-Systeme die Einreichungen vor-analysieren. Das Ergebnis war, dass es keinen Unterschied gemacht hat. 

Chance und Risiko

Wo liegen die größten Risiken von KI-Systemen im öffentlichen Sektor?

Anne Kaun: Diskriminierung ist hier ein wichtiges Thema. Es gab einen Fall in den Niederlanden, wo Anträge auf Kinderbetreuungsgeld anhand ethnischer Kriterien von einem Betrugserkennungssystem ausgewählt wurden. Vom System identifizierte Eltern erhielten Rückzahlungsforderungen, teilweise mehrere tausend Euro. Die Zahlungsaufforderungen führten zu extremen Belastungen in den Familien. Tausende Kinder wurden den Eltern entzogen und es kam sogar zu Selbstmorden. Hier zeigt sich, wie der Einsatz von KI an ideologische und politische Fragen gekoppelt ist. Technologie ist am Ende nie neutral. Wir müssen uns sicher fragen, warum KI-Systeme derzeit lieber für Kontrolle als zur Unterstützung von Bürger:innen genutzt werden. Ob die Staaten überhaupt die Kapazitäten und Fähigkeiten haben, solche Systeme bürgerrechtskonform einzuführen, ist aus meiner Sicht noch unklar.

Warum wollen Staaten überhaupt KI-Lösungen, wenn es so viele ungelöste Probleme gibt?

Doris Allhutter: In vielen Ländern stehen Pensionierungswellen im öffentlichen Dienst an, das macht die versprochenen Effizienzgewinne attraktiv. Es gibt auch sicher Potenzial, KI-Systeme produktiv zu nutzen. Aber in Bereichen, in denen die Menschenrechte berührt werden oder ein hohes Risiko für die Bürger:innen besteht, muss man über Verbote nachdenken, egal ob es sich um KI oder einfachere, automatisierte Datenanalyse handelt. Auf jeden Fall müssen Systeme vor der Einführung geprüft werden, am besten durch eine unabhängige Instanz. In Österreich könnte das die Datenschutzbehörde leisten, dafür müsste sie aber ausgebaut und mit mehr Ressourcen ausgestattet werden. Die Institutionen werden zudem Spezialist:innen brauchen, die verstehen, wie sich KI auf die Gleichheitsrechte von Bürger:innen auswirkt.