Grundrechte-Folgenabschätzung für Hochrisiko-KI-Systeme

Was ist eine Grundrechte-Folgenabschätzung?

Bedrohungen der Grundrechte des Menschen stellen einen wichtigen Zweig der möglichen Risiken dar, die sich aus der Implementierung sogenannter Hochrisiko-KI-Systeme ergeben. Der AI Act sieht als Instrument zur Gewährleistung der Einhaltung der Grundrechte der betroffenen Personen die Grundrechte-Folgenabschätzung (Fundamental Rights Impact Assessment) vor, die spezifische Betreiber bestimmter Hochrisiko-KI-Systeme durchführen müssen:

• Betreiber: natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System in eigener Verantwortung und im Rahmen einer beruflichen Tätigkeit verwendet.
• Hochrisiko-KI-Systeme: nach der Kategorisierung der KI-Systeme im AI Act sind das KI-Systeme, die ein hohes Risiko für die Gesundheit und Sicherheit oder die Grundrechte natürlicher Personen darstellen (siehe detaillierte Definition im Artikel zum AI Act.

Wer muss eine Grundrechte-Folgenabschätzung nach AI Act durchführen?

Zur Durchführung einer Grundrechte-Folgenabschätzung sind Betreiber bestimmter Hochrisiko-KI-Systeme verpflichtet.

Diese Pflicht betrifft zunächst Betreiber, bei denen es sich um Einrichtungen des öffentlichen Rechts oder private Einrichtungen handelt, die öffentliche Dienste erbringen, sofern sie ein in Anhang III des AI Act aufgeführtes Hochrisiko-KI-System betreiben (mit Ausnahme der in Anhang III Nr. 2 genannten Hochrisiko-KI-Systeme, die als Sicherheitsbauteile im Rahmen der Verwaltung und des Betriebs kritischer digitaler Infrastruktur, des Straßenverkehrs oder der Wasser-, Gas-, Wärme- oder Stromversorgung verwendet werden sollen).

Somit müssen Einrichtungen des öffentlichen Rechts und private Einrichtungen, die öffentliche Dienste erbringen, Grundrechte-Folgenabschätzungen für durch sie betriebene Hochrisiko-KI-Systeme etwa in den Bereichen Biometrie, Bildung und Beschäftigung, Strafverfolgung, Migration, Asyl und Grenzkontrolle, Rechtspflege und demokratische Prozesse etc. durchführen.

Andere, d.h. auch nicht öffentliche Betreiber von Hochrisiko-KI-Systemen, müssen eine Grundrechte-Folgenabschätzung nur für zwei spezifische wesentliche private Dienstleistungen durchführen:

• KI-Systeme, die bestimmungsgemäß für die Kreditwürdigkeitsprüfung und Bonitätsbewertung natürlicher Personen verwendet werden, mit Ausnahme von KI-Systemen, die zur Aufdeckung von Finanzbetrug verwendet werden,
• KI-Systeme, die bestimmungsgemäß für die Risikobewertung und Preisbildung in Bezug auf natürliche Personen im Fall von Lebens- und Krankenversicherungen verwendet werden.

Wichtig zu betonen ist dabei, dass für Hochrisiko-KI-Systeme aus Anhang I AI Act keine Grundrechte-Folgenabschätzung durchzuführen ist. Dies betrifft etwa KI-Systeme, die als Sicherheitsbauteile in bestimmten Produkten wie etwa Fahrzeugen, Aufzügen oder Medizinprodukten verwendet werden.

Inhalt einer Grundrechte-Folgenabschätzung

Die Grundrechte-Folgenabschätzung zielt darauf ab, sicherzustellen, dass die Anwendung und Nutzung von Hochrisiko-KI-Systemen die Menschenrechte und grundlegende Freiheiten respektiert.

Ihre Hauptfunktion besteht darin, potenzielle Auswirkungen auf die Grundrechte, die sich aus der Nutzung eines Hochrisiko-KI-Systems durch die obengenannten Betreiber ergeben könnten, im Voraus zu identifizieren, mit dem Ziel, diese schon vor der Nutzung zu mindern.

Unter den Grundrechten, auf die ein KI-System schädliche Auswirkungen haben könnte, sind beispielsweise:

• Würde und menschliche Integrität: durch Kontrolle, Manipulation und Täuschung von Individuen;
• Freiheit des Einzelnen: durch Überwachung (auch in großem Maßstab) geleitet von KI, zum Beispiel durch Gesichtserkennung oder Herzfrequenzmessung;
• Gleichheit und Solidarität: durch die Möglichkeit, diskriminierende und unakzeptable Vorurteile zu verstärken oder zu perpetuieren;
• Gerechtigkeit: durch das Fortbestehen bestehender Vorurteile in Situationen, in denen körperliche Freiheit oder persönliche Sicherheit auf dem Spiel stehen (wie im Fall der prädiktiven Polizeiarbeit und der Vorhersage von Rückfallrisiken);
• Demokratie: durch Systeme zur Inhaltsindexierung, die die Verbreitung von Deepfakes und Fehlinformationen verstärken könnten;
• Rechtsstaatlichkeit: wenn das Fehlen von Moderation beim Einsatz von KI-Systemen zu einer Erosion der Verfahrenslegitimität und des Vertrauens in Institutionen und demokratische Behörden führt;
• Umwelt: durch den intensiven Energieverbrauch, der während der Trainings- und Betriebsphasen der meisten KI-Systeme erforderlich ist.

Die Abschätzung muss grundsätzlich nur einmal durchgeführt werden und die folgenden Elemente umfassen:

• Beschreibung der Prozesse des Betreibers, in denen das Hochrisiko-KI-System eingesetzt werden soll (Implementierungsprozess);
• Zeitraum und Häufigkeit der Verwendung des Hochrisiko-KI-Systems;
• Kategorien von natürlichen Personen und Gruppen, die voraussichtlich durch die Nutzung im spezifischen Kontext beeinflusst werden (betroffene Personen oder Personengruppen);
• spezifischen Schadensrisiken, die sich auf die betroffenen Kategorien auswirken könnten;
• Beschreibung der Umsetzung von Maßnahmen der menschlichen Aufsicht entsprechend den Betriebsanleitungen;
• Maßnahmen, die im Falle des Eintretens dieser Risiken zu ergreifen sind, einschließlich der Regelungen für die interne Unternehmensführung und Beschwerdemechanismen.

Sobald die Folgenabschätzung durchgeführt wurde, teilt der Betreiber der Marktüberwachungsbehörde die Ergebnisse mit, indem er das ausgefüllte Muster, welches von dem Büro für Künstliche Intelligenz zur Verfügung gestellt wird, an diese übermittelt.

Gelangt der Betreiber während der Verwendung des Hochrisiko-KI‑Systems zur Auffassung, dass sich eines der in der Folgenabschätzung aufgeführten Elemente geändert hat oder nicht mehr auf dem neuesten Stand ist, ist er verpflichtet, die erforderlichen Schritte zu unternehmen, um die Informationen zu aktualisieren.

Wie wird eine Grundrechte-Folgenabschätzung durchgeführt?

Auf Grundlage unserer Erfahrung haben wir einige Aspekte identifiziert, auf die besonders geachtet werden sollte, um eine Grundrechte-Folgenabschätzung durchzuführen, die tatsächlich eine ethische und verantwortungsvolle Implementierung von KI gewährleistet – und nicht nur eine formale Pflicht bleibt. Um dieses Ziel zu erreichen, ist es entscheidend:

• relevante Akteure frühzeitig einzubeziehen, wie Datenschutzbeauftragte, Ethikkommissionen oder Interessenvertretungen potenziell betroffener Gruppen;
• konkrete Anwendungsszenarien zu analysieren, jenseits eines rein wissenschaftlichen, experimentellen oder theoretischen Kontexts;
• die Perspektive der betroffenen Personen einzunehmen, indem überlegt wird, welche Interessen konkret beeinträchtigt werden könnten und ob es besonderen Schutzbedarf für vulnerable Gruppen gibt;
• jeden Schritt der Folgenabschätzung nachvollziehbar und überprüfbar zu dokumentieren, um Transparenz und Vertrauen zu fördern und im Bedarfsfall einen Nachweis zu haben;
• eine dynamische Risikobewertung vorzunehmen, also die Einschätzung regelmäßig zu aktualisieren.

Fazit

Die Nutzung von KI-Systemen ist je nach Anwendungsgebiet mit unterschiedlich hohen Risiken verbunden. Gerade wenn etwa öffentliche Einrichtungen bei ihrer Aufgabenerfüllung KI-Systeme nutzen, ist in der Regel davon auszugehen, dass die Auswirkungen dieser Systeme gravierend sein können. Aus diesem Grund wurde die Pflicht zur Durchführung einer Grundrechte-Folgenabschätzung eingeführt.

Indem betroffene Betreiber eine Grundrechte-Folgenabschätzung durchführen, identifizieren sie nicht nur die Risiken, sondern müssen auch entsprechende Risikovorsorge-Strategien entwickeln. Dies hilft ihnen, bei der Materialisierung eines Risikos angemessene Gegenmaßnahmen zügig zu implementieren.