Der Mythos von der Technologie als wertneutralem Werkzeug ist nach wie vor weit verbreitet. Wie problematisch diese Sichtweise ist, thematisieren Doris Allhutter und Astrid Mager vom Institut für Technikfolgen-Abschätzung der Österreichischen Akademie der Wissenschaften (ÖAW) in einer neuen Studie, die in Kooperation mit der TU Wien entstanden ist und nun gemeinsam mit der AK Oberösterreich präsentiert wurde. Darin untersuchen sie den Algorithmus des Arbeitsmarktservice (AMS), der ab Jänner 2021 flächendeckend eingesetzt werde sollte, aber (vorerst) von der Datenschutzbehörde gestoppt wurde. Auf Basis von Daten vergangener Jahre soll dieser helfen, die zukünftigen Chancen von Arbeitssuchenden am Arbeitsmarkt zu berechnen. Dabei soll vor allem in jene Jobsuchende investiert werden, bei denen gezielte Fördermaßnahmen laut AMS mit großer Wahrscheinlichkeit zu einer Wiedereingliederung in den Arbeitsmarkt führen würden.
Wie verträgt sich der AMS-Algorithmus mit dem Grundsatz der sozialen Gerechtigkeit?
Doris Allhutter: Arbeitssuchende werden in drei Gruppen eingeteilt. Bereits die Bezeichnungen der Wahrscheinlichkeit auf einen Job, „hoch“, „mittel“ und „niedrig“, sind gesellschaftliche Zuschreibungen, die nicht neutral sind. Sie können auf Betroffene demotivierend wirken. Das AMS argumentiert, es sei am effizientesten im mittleren Segment zu fördern. Menschen im hohen Segment finden den Einstieg ohnehin, jene im niedrigen brauchen andere Maßnahmen. Nicht jedes Land geht diesen Weg. Schweden etwa setzt verstärkt Mittel bei den Schwächsten ein. Das folgt einem Solidaritätsprinzip und stellt nicht Effizienz an die erste Stelle.
Ein Standardargument lautet: Menschen diskriminieren ja auch. Die spannende Frage aber ist, welche Arten von Diskriminierung in ein algorithmisches System einfließen.
Am Arbeitsmarkt werden Frauen, Menschen mit Behinderung, ältere Arbeitssuchende, Migrant/innen benachteiligt. Besteht da nicht die Gefahr, dass diese Strukturen verfestigt werden?
Astrid Mager: Ein Standardargument lautet: Menschen diskriminieren ja auch. Die spannende Frage aber ist, welche Arten von Diskriminierung in ein algorithmisches System einfließen. Der Algorithmus kann nur aus der Vergangenheit lernen. Hier sind gewisse Verzerrungen am Arbeitsmarkt zu beobachten, die in das System eingeschrieben werden, etwa, dass Migrant/innen grundsätzlich geringere Chancen haben.
In Sachen Genderrollen verändert sich gerade viel. Wie können Computer darauf reagieren, wenn sie nur Daten aus der Vergangenheit verwenden?
Mager: Das ist ein grundlegendes Problem all dieser Systeme. Ihre Prognosen schreiben Muster fort, die man aus der Vergangenheit ableitet. Es hinkt aktuellen Entwicklungen hinterher. Das sieht man gut anhand der Coronakrise, deren Auswirkungen nicht planbar sind.
Ein grundlegendes Problem all dieser Systeme: Ihre Prognosen schreiben Muster fort, die man aus der Vergangenheit ableitet. Es hinkt aktuellen Entwicklungen hinterher.
Allhutter: Auf Seite der AMS-Mitarbeiter/innen braucht es neue Kompetenzen, diesen berechneten Wert in Beziehung zum Menschen zu setzen. Viele Aspekte – wie Motivation, Auftreten oder ein soziales Netzwerk, das dieser Person vielleicht zur Verfügung steht, – werden vom System nicht berücksichtigt. Die AMS-Mitarbeiter/innen haben hier die Aufgabe, als soziales Korrektiv zu fungieren und die Einschränkungen des Algorithmus auszugleichen. Dafür brauchen sie einen kritischen Blick auf die scheinbar objektiven Einschätzungen des Systems.
Mit welchen Herausforderungen sehen sich AMS-Mitarbeiter/innen konfrontiert?
Mager: Da es sich um ein semi-automatisiertes System handelt, müssen sie die Letztentscheidung treffen. Aber um dies zu tun, müssen sie eine Begründung finden und legitimieren, warum diese vom Computer-Vorschlag abweicht.
Das System stellt Anreize, den computergenerierten Wert zu übernehmen. Alles andere bedeutet für AMS-Mitarbeiter/innen mehr Zeitaufwand.
Allhutter: Das System stellt Anreize, den computergenerierten Wert zu übernehmen. Alles andere bedeutet mehr Zeitaufwand. Im Beratungsgespräch fokussiert man sich nicht mehr auf die Person, sondern arbeitet Aufgaben ab. Man hat also noch weniger Zeit, sich auf ein Individuum einzulassen.
Wie kann man überprüfen, ob die Einstufung einer Person stimmt?
Mager: Eine gewisse Fehlerquote ist jedem Prognosesystem inhärent. Es bräuchte deshalb eine bessere rechtliche Absicherung für Menschen, die betroffen sind, ein Einsichts- und Einspruchsrecht. Wir haben das AMS in unserer Studie als Beispiel für Entwicklungen genommen, die in Zukunft verstärkt auf uns zukommen werden. Es gibt im Moment noch viele Graubereiche, auch in Sachen Nachvollziehbarkeit und Transparenz von Entscheidungen. Es braucht daher neue Prozesse und Aufsichtsorgane, die die Entwicklung algorithmischer Systeme professionell evaluieren und begleiten können, insbesondere im öffentlichen Bereich.
Keine menschengemachte Maschine ist „objektiv“.
Allhutter: Keine menschengemachte Maschine ist „objektiv“. Man darf den Fokus bei der öffentlichen Auftragsvergabe daher nicht nur auf die Genauigkeit eines Systems legen, sondern muss auch auf Datenschutz und Antidiskriminierung achten. Das ist bislang noch nicht stark genug ins politische Blickfeld gerückt.
