-> Increasing psychological distress among minors is being linked to online services.
-> Age restrictions are being discussed as a simple solution.
-> Many methods of determining age are risky; privacy preserving methods are under development and clearly preferable.
-> Age restrictions alone will not solve significant problems – minors could switch to unregulated services.
-> All children's rights must be taken into account. An assessment of impacts on consumers is also needed.

-> Zunehmender Leidensdruck bei Minderjährigen wird mit digitalen Angeboten in Zusammenhang gebracht.
-> Altersbeschränkungen werden als einfache Lösung diskutiert.
-> Viele Verfahren, das Alter festzustellen, sind risikobehaftet; datensparsame Methoden sind in Entwicklung und klar vorzuziehen.
-> Altersbeschränkungen alleine werden wesentliche Probleme nicht lösen – Minderjährige könnten auf unregulierte Angebote ausweichen.
-> Alle Kinderrechte müssen berücksichtigt werden. Es braucht auch eine Abschätzung der Folgen für Verbraucher:innen.

IDer Begriff der „Künstliche Intelligenz“ (KI) ist in der öffentlichen Debatte allgegenwärtig. Flächendeckende Anwendungen von KI, basierend auf umfassenderen und genaueren Daten-Analysen, wecken Hoffnungen auf eine effizientere, genauere und objektivere Gestaltung von wirtschaftlichen, arbeitsbezogenen oder im weiteren Sinn gesellschaftlichen Prozessen. Gleichzeitig bleiben Konsequenzen und „Nebeneffekte“ eines breiten Einsatzes dieser Anwendungen weitestgehend ungeklärt. Um KI zu regulieren, legte die Europäische Kommission im April 2021 einen Entwurf des „Artificial Intelligence Act“1 vor, um KI-Innovation unter größtmöglichem Schutz zu ermöglichen. Eine zentrale Forderung des AI Acts ist die Forderung nach Nachvollziehbarkeit bzw. Transparenz. Während der AI Act aber hauptsächlich auf Transparenz für Entwickler*innen, Produzent*innen und den kommerziellen Vertrieb abstellt, bleiben andere, potenziell (Mit-)Betroffene wie Konsument*innen, Verbraucher*innen oder Endnutzer*innen weitgehend unbeachtet. In diesem Spannungsfeld zwischen technischer Machbarkeit und gesellschaftlicher Auswirkungen lassen sich einige grundlegende Punkte zusammenfassend festhalten, die auch für gegenwärtige und zukünftige Regulierungsversuche relevant sind: Die Definition von KI bleibt umstritten: Einerseits vereint der Begriff der KI verschiedene gesellschaftsrelevante Ansprüche („schwache“ und „starke“ bzw. „generelle“ und „spezifische“ KI), deren Umsetzung von Akteuren sehr unterschiedlich eingeschätzt wird. Andererseits dient er als Sammelbecken für unterschiedliche (z. T. zusammenhängende) technische Ansätze, wie Algorithmen, maschinelles Lernen oder algorithmische Entscheidungs-systeme. Durch ein Verständnis von KI als soziotechnischem System, wie es in diesem Bericht vorgeschlagen wird, werden neben technischen Spezifizierungen auch soziale Kontexte verstärkt in den Blick genommen. Das rückt nicht nur die technische Gestaltbarkeit bestimmter Anwendungen in den Mittelpunkt des Interesses, sondern betont die vielfältigen Möglichkeiten, die sich aus der Einbindung von KI in soziale Kontexte, das Zusammenwirken von sozialen und technischen Aspekten und die Umgestaltung von sozialen Praktiken durch KI ergeben. Besonders der Begriff der algorithmischen Entscheidungssysteme2 ist hier von Bedeutung, weil die unmittelbaren Auswirkungen auf Konsument*innen, Endnutzer*innen und Betroffene hier einen hohen Stellenwert einnehmen. Ähnlich vielgestaltig präsentiert sich der Begriff der „Transparenz“. Bei der Frage von Vertrauen in KI-Anwendungen kommt dem Begriff der Transparenz, von dem dieser Bericht seinen Ausgangspunkt nimmt, eine zentrale Rolle zu. Transparenz ist allerdings vielschichtig (bezogen auf den Algorithmus, den Prozess, den Kontext) und in manchen Bereichen auch ambivalent (z. B. Geschäftsgeheimnisse). Sie kann einerseits technisch (als die detaillierte Offenlegung von Codes), andererseits prozedural (als zielgerichtete Kommunikation um mehr Verständnis bei der intendierten Zielgruppe zu erzeugen) verstanden werden. Durch diese inhärente Ambivalenz ist eine reine Forderung nach Transparenz nicht ausreichend, um KI verantwortungsvoll zu entwickeln, in Umlauf zu bringen und zu regulieren, auch, weil sie in einer rein technischen Interpretation auch zur Verschleierung von Verantwortung beitragen kann. Technische Ansätze wie die erklärbare KI (XAI) versuchen, Transparenz durch technische externe Lesehilfen herzustellen und außerhalb des Systems zu kommunizieren. Darüber hinaus konzentriert sich das Feld auf Möglichkeiten, die Erklärungen der Modellentscheidungen in die algorithmische Entwicklung einzubeziehen. Interpretierbarkeit stellt darauf ab, technisch nachvollziehbare Ergebnisse zu generieren. Nachvollziehbarkeit wiederum stellt auf ein Verständnis von verschiedenen Akteuren ab (so beispielsweise auch Konsument*innen oder Betroffene). Auf technischer Ebene stellt sich die Frage, ob die in diesem Bericht angesprochenen Ansätze der „erklärbaren KI“ (XAI) ausreichen um (technische) Transparenz – und in weiterer Folge soziale Nachvollziehbarkeit und Verantwortung – herzustellen. Aktuelle Forschungsansätze liefern interessante Ergebnisse, befinden sich aber noch in der Entwicklung. Da sie jedoch soziale Kontexte der Anwendungen und einen bewussten Umgang mit Wertentscheidungen nicht berücksichtigen, können Ansätze des XAIs auch nur eingeschränkt Wirkung in Richtung Verantwortung entfalten. In Erweiterung des Transparenzbegriffs betont ein Fokus auf Nachvollziehbarkeit (statt Transparenz) die soziale Dimension des Verstehens von KI-Anwendungen und damit der informierten (Endnutzer*innen- und Anwender*innen-)Entscheidung bzw. des verantwortungsvollen Umgangs mit KI. Abgestufte Transparenzregeln (je nach Adressatengruppe) erscheinen sinnvoll, wobei der institutionelle Rahmen entsprechend gestaltet sein muss. Die Bereitstellung notwendiger Ressourcen und die Erwerbung solcher Kompetenzen sind durch verantwortliche (öffentliche) Stellen zu garantieren. Unabhängige Institutionen müssen eingerichtet und mit entsprechenden Kompetenzen besetzt werden, um Transparenzforderungen, Beschwerden oder Klagen zu überprüfen und gegebenenfalls adäquat handeln zu können – gesellschaftliche Akzeptanz wird neben der notwendigen Transparenz nur durch entsprechende Regulierung und Institutionen herzustellen sein. In Bezug auf Governance sind die Ansprüche uneinheitlich: ob Transparenz (im Sinne der Offenlegung von Codes) oder Interpretierbarkeit ausreichen oder aufgrund sozialer Gegebenheiten (z.B. Geheimhaltungen) durchführbar sind, oder ob es wesentlicher ist, Entscheidungen für Betroffene nachvollziehbar zu gestalten, ist nach wie vor Gegenstand der wissenschaftlichen und politischen Debatte in der Gestaltung von verantwortungsvoller KI. Während zur Gestaltung von KI eine Auseinandersetzung mit dem technischen Status-quo unerlässlich ist, können aufgrund rein technischer Spezifikationen keine Aussagen über soziale Auswirkungen von KI-Systemen getroffen werden. Ansätze des (regulatorischen) Umgangs mit KI können sich daher nicht ausschließlich über technische Aspekte definieren, sondern müssen Auswirkungen von KI auf den Menschen in den Mittelpunkt des Interesses rücken. Eine Engführung einer Definition von KI tendiert dazu, Gefahren zu ignorieren, die durch den Einsatz etablierter IT-gestützter Ansätze bereits bestehen (z. B. Diskriminierung durch statistische Verfahren). Daher plädiert der Bericht für die Beibehaltung einer breiten Definition des KI-Begriffs, wie im AI Act vom im April 2021 ursprünglich vorgesehen. Während ein risikobasierter Ansatz beibehalten werden sollte, kann ein zu starker Fokus auf Hochrisiko-Technologien allein ebenfalls dazu führen, dass Anwendungen mit weitreichenden Konsequenzen per definitionem unreguliert (oder unterreguliert) bleiben. Um den risikobasierten Ansatz weiter auszubuchstabieren, gibt es Ansätze zu abgestuften Transparenzforderungen wie etwa Krafft/Zweig (2019). Die Verantwortung gegenüber Betroffenen von KI-Anwendungen durch regulierende Stellen, aber auch Entwickler*innen, Produzent*innen und Verwender*innen im AI Act muss hervorgehoben und gestärkt werden. Die aktive Einbindung von Betroffenen in Gestaltungsprozesse von KI oder algorithmischen Entscheidungssystemen durch inklusive partizipative und deliberative Ansätzen ist unerlässlich, um einen grundlegenden Schritt in Richtung Sozialverträglichkeit von KI-Anwendungen zu machen. Hierbei geht es um eine breite gesellschaftliche Diskussion, welche Werte in KI-Anwendungen eingeschrieben werden (sollen) und gesellschaftlich akzeptabel erscheinen. Gleichzeitig ermöglichen partizipative Ansätze, möglichst vielfältig potenzielle Auswirkungen von KI-Anwendungen aufzuzeigen. In KI-Anwendungen intendierte autonome Lernprozesse können nicht immer vollständig antizipiert werden. Entsprechend wird in der Literatur teilweise argumentiert, dass Entwickler*innen (auch bei vollständiger Transparenz in Bezug auf Codes) nicht vollständig für Konsequenzen des Einsatzes von KI verantwortlich gemacht werden können. Damit ergibt sich die Gefahr eines Verantwortungs-vakuums. Aus Sicht von Betroffenen könnte es hier schwierig sein, individuelle Rechte einzufordern. Daher ist menschliche Aufsicht („human oversight“) als eine Grundbedingung zu sehen, um KI-Anwendungen auf den Markt zu bringen. Sollte dies derzeit nicht möglich sein, erscheint ein Moratorium für bestimmte Methoden und Anwendungen sinnvoll, bis eine solche Aufsicht – im Sinne von Erklärbarkeit, Interpretierbarkeit und Nachvollziehbarkeit – garantiert werden kann. Eine realistische Einschätzung von KI (oder ADMs) basiert daher auf einer technischen und sozialen Komponente, die jeweils unterschiedlich zu bewerten sind. Schon gegenwärtig verändern sich Sozialsysteme unter dem Einsatz von IT- und KI-Systemen (Jobsuche, Zuteilung von Sozialleistungen, Credit Scoring). Gleichzeitig zieht der flächendeckende Einsatz von KI-Systemen weitere Veränderungen nach sich. Wichtiger als technisch-basierte Zugänge erscheinen regulatorische Ansätze, die gesellschaftliche Realitäten und Anwendungskontexte zumindest gleichwertig berücksichtigen, um eine aktive Gestaltung von KI-Systemen (und auch etablierter Methoden) zu ermöglichen. Um das Potenzial von KI ausschöpfen und eine verantwortungsvolle und sozialverträgliche Gestaltung voranzubringen erscheint es notwendig: ‒ die Berücksichtigung der Interessen von Konsument*innen und Betroffenen im KI-Diskurs und in der Entwicklung verstärkt einzubinden und einen möglichst ausdifferenzierten Kriterienkatalog zu erarbeiten, ‒ eine weit gefasste Definition von KI zu verwenden, die neben KI-Systemen im engeren Sinn auch etablierte IT-Systeme umfasst, deren Vorschläge und Entscheidungen Menschen in ihrer physischen, psychischen oder ökonomischen Existenz betreffen, ‒ Transparenz in ihren verschiedenen Dimensionen wie etwa dem Recht auf Information, als Nachvollziehbarkeit für Menschen und als institutionell verankerte Transparenz inklusive der notwenigen Verfahren (Rechtsbehelfe) umzusetzen, ‒ alle KI-Systeme die mit Menschen interagieren bzw. deren Entscheidungen sich auf das Leben und die Entfaltungsmöglichkeiten der Menschen auswirken, zu registrieren, einem grundlegenden Zertifizierungsprozess zu unterwerfen und im Verkehr kenntlich zu machen, ‒ einen flexiblen Regulierungsansatz zu verfolgen, der periodisch evaluiert wird, ‒ Forschung in jenen Bereichen zu fördern, die sich mit erklärbarer KI (XAI), Fairness, Gerechtigkeit, Rechenschaftspflicht und Verantwortlichkeit und mit gesellschaftlichen Auswirkungen der KI beschäftigen, ‒ KI-Systeme, die bestehende Grundrechte und Freiheiten sowie die Demokratie als solche schwer beschädigen oder aus ethischen Grundsätzen (Menschenwürde, Gleichheit, die Unantastbarkeit des Lebens usw.) zu verurteilen sind, zu verbieten und nicht zuletzt ‒ sollte die Letztverantwortung immer bei natürlichen oder juristischen Personen verbleiben. Solange Transparenz und Nachvollziehbarkeit nicht ausreichen, um menschliche Kontrolle zu gewährleisten, sollten Moratorien für bestimmte KI-Systeme überlegt werden.