10.12.2020

Woher haben Maschinen ihren Hausverstand?

Computer unterscheiden, was ein Mann und was eine Frau ist. Aber woher kommt dieses Wissen? Und wie diskriminierend und vorurteilsbeladen ist es mitunter? Doris Allhutter, Technikforscherin an der ÖAW, untersucht, wie Rassismus und Geschlechterhierarchien in lernende Systeme eingeschrieben werden. Und was man dagegen tun kann.

Wie ein Computer Männer und Frauen unterscheidet ist oft von Stereotypen bei der Programmierung beeinflusst.
Wie ein Computer Männer und Frauen unterscheidet, ist oft von Stereotypen bei der Programmierung beeinflusst. © Shutterstock

Computerprogramme sind nicht neutral, sie reproduzieren oft gesellschaftliche Diskriminierungen. Um es mit einem drastischen Beispiel zu verdeutlichen: Theoretisch könnten selbstfahrende Autos mit größerer Wahrscheinlichkeit Menschen mit dunkler Hautfarbe überfahren als solche mit heller. In Forschung und Entwicklung fehlt es in vielen Bereichen an Diversität, Programmierende haben häufig eine weiße, männliche Mittelschichtsperspektive. So kommt es, dass informatische Methoden, zum Beispiel im Machine-Learning, oft eine eingeschränkte und verzerrte Weltsicht abbilden.

Doris Allhutter vom Institut für Technikfolgen-Abschätzung der Österreichischen Akademie der Wissenschaften (ÖAW) hat in ihrem Habilitationsprojekt mittels empirischer Fallstudien untersucht, wie Maschinen aus Sprache und Alltagswissen lernen. „In die Entwicklung von Systemen fließen soziale Annahmen, Werte und Normen ein, die auch Ungleichheiten und Differenzen in der Gesellschaft widerspiegeln“, erklärt die Forscherin.

Gesellschaftliche Schieflagen als Bias

Doch wie kommen Maschinen eigentlich zu ihrem Alltagswissen? „Es werden riesige Datenmengen aus dem Internet und aus Sozialen Medien verarbeitet“, sagt Allhutter: „Viele Datenquellen enthalten stereotype und diskriminierende Menschenbilder, darunter auch Nachrichten und historische Texte.“ Gesellschaftliche Schieflagen fließen als „Bias“ in lernende Systeme ein. So definiert ConceptNet, eine Ressource, die Alltagswissen für Machine Learning aufbereitet, etwa den Begriff Mann wie folgt: „Man is a male person.“ Frauen werden dagegen über ihre reproduktiven Fähigkeiten definiert: „Woman has a baby“. Noch diskriminierender ist das Ergebnis, wenn es um zentrale Werte geht. „Respect“ und „honesty“ seien Männern wichtig. „A Woman wants to be loved and wants a man“, werden Frauen hingegen charakterisiert.

In früheren Expertensystemen schrieben die - zumeist männlichen - Entwickler auf Basis dominanter gesellschaftlicher Annahmen fest, welches „Wissen“ in Systeme einfließt. Ein Prozess, in dem „Wissen“ aus vielfältigen Quellen teils automatisch generiert wird, erscheint im Vergleich dazu demokratischer. Allerdings zeigen auch hier platte Geschlechterklischees und viele rassistische Beispiele, dass dies die Dominanz bestimmter Perspektiven perpetuiert.

Problematisch ist, wenn dieses „Alltagswissen“ mit anderen Ressourcen verbunden wird, wenn etwa Bilderkennung trainiert wird. Aber auch in der semi-automatischen Entscheidungsunterstützung, die in Unternehmen und Regierungsinstitutionen - oft aus Effizienz- und Kostengründen - verwendet wird, wirkt sich der Bias nachweislich ungleich auf Bevölkerungsgruppen aus. In den Bereichen Bildung, Beschäftigung, Gesundheit, Bankwesen, Polizei und Militär kommt KI bereits häufig zum Einsatz. In Europa wird sie immer öfter für die Entscheidung eingesetzt, ob man eine sozialstaatliche Leistung bekommt oder nicht.

Faire Maschinen?

Allhutter beschäftigt deshalb auch die Frage: Wie kann man ein System möglichst diskriminierungsfrei machen, damit bestimmte Gruppen nicht mehr benachteiligt werden? „In den letzten 10 Jahren hat sich in Teilbereichen der Computerwissenschaften ein Bewusstsein dafür geschärft, dass es einen Bias gibt“, sagt Allhutter. Das Forschungsfeld „Fairness in Machine Learning“  setzt es sich zur Aufgabe, diese zu erkennen und zu entfernen. Wichtig dabei ist eine interdisziplinäre Zusammenarbeit zwischen den Computer-, Sozial-, Geistes- und Rechtswissenschaften. Allhutter hat eine Methode entwickelt, die es Forscher/innen ermöglicht, technik-deterministische Perspektiven zu reflektieren und gemeinsam neue Denkweisen und Ansätze zu entwickeln.

Ein Themenfeld dabei ist das Verhältnis von Treffergenauigkeit und Fairness. Wird zwischen diesen beiden abgewogen, gewinnt häufig die Treffergenauigkeit auf Kosten von gerechten Entscheidungen. Gesellschaftlich benachteiligte Gruppen werden so erneut benachteiligt. In interdisziplinärer Zusammenarbeit kann hingegen genau beleuchtet werden, wie soziale Kategorien wie Geschlecht, Ethnizität, Alter oder Klasse algorithmisch zueinander in Beziehung gesetzt werden. Damit der Hausverstand der Computer gerechter wird.

 

AUF EINEN BLICK

Doris Allhutter ist Politikwissenschafterin und wissenschaftliche Mitarbeiterin am Institut für Technikfolgen-Abschätzung der Österreichischen Akademie der Wissenschaften (ÖAW). Ihr Habilitationsprojekt „Performativität im Software-Design“ wurde vom Elise-Richter-Programm des Wissenschaftsfonds FWF finanziert und im September 2020 abgeschlossen.

Projektwebsite

 


Newsletter
Forschungs-News, Science Events & Co: Jetzt zum ÖAW-Newsletter anmelden!