Profil 7-8/2024

PROFIL // Frauen

nisation (NGO) auf die Risiken von Algorithmen und KI aufmerksam.

Künstliche Intelligenz Müll rein, Müll raus

Große Potenziale, große Risiken

KI soll beim Recruiting, der Vergabe von Sozialleistungen oder der Er kennung von Betrugsfällen zum Einsatz kommen. Die Maschinen über nehmen dabei die Vorurteile der Menschen, häu fi g zulasten von Frauen. W agen wir ein Experiment: 58 Prozent der Beschäftigten im Diskriminierung als Soll-Zustand

Auch im ö ff entlichen Dienst soll KI in immer mehr Bereichen zum Einsatz kommen und Beschäftigte bei ein fachen Verwaltungsprozessen entlas ten. Doch auch hier kann eine vorein genommene KI für unnötiges Leid sor gen: Die Stadt Rotterdam hatte über Jahre eine Software eingesetzt, die per KI mögliche Fälle von Sozialhilfebetrug aus fi ndig machen sollte. Sie quali fi zier te alleinerziehende Mütter als beson ders hohes Risiko. Die Folge: Viele mussten sich einer behördlichen Un tersuchung unterziehen oder verloren in ihrer ohnehin prekären fi nanziellen Lage ihre Sozialleistungen. Ähnliche Fälle gab es zuletzt in Australien, Michi gan und weitere in den Niederlanden. Das Problem hatte die dbb frauen Che fi n bereits im Juni bei den CESI Summer Days thematisiert: „So groß das Potenzial von KI ist, uns nach vorn zu bringen, so groß ist auch das Risiko, dass sie bestehende Vorurteile ver stärkt. KI-Anwendungen müssen ver antwortungsvoll und unter der Berück sichtigung möglicher Diskriminierung entwickelt und implementiert werden“, sagte Kreutz in Brüssel. Die EU hatte Anfang des Jahres den EU AI Act be schlossen, um KI besser zu regulieren. Sombetzki geht die Richtlinie nicht weit genug: „Die Kernproblemlage, dass von Diskriminierung Betro ff ene im Zweifelsfall nichts davon mitbekom men und die Diskriminierung schwer lich nachweisen könnten, löst die KI Verordnung nicht auf. Noch dazu sind Betro ff ene stark davon abhängig, ob eine nationale Beschwerdestelle, die ihre Fälle entgegennehmen soll, gut genug ausgestattet ist. Denn dies ist der einzige Beschwerdeweg, den die KI-Verordnung vorsieht.“ 

ö ff entlichen Dienst sind Frauen. Wenn wir also eine KI bitten, ein Foto von Menschen zu generieren, die im öf fentlichen Dienst arbeiten, müsste auf den Fotos eine ähnliche Quote zustan

„Eine Software, die Frauen bei der Auswahl benachteiligt, ist nicht besser als Menschen, die Frauen bei der Aus wahl benachteiligen“, sagt Milanie

de kommen. Beim Ver such mit verschiedenen Programmen zeigte aller dings nur knapp ein Drittel der Bilder Frauen (32 Pro zent). Für die KI sind Be schäftigte im ö ff entlichen Dienst mit großer Mehr heit männlich. Und wäh rend die Männer in einer Vielzahl von Berufen und Umgebungen abgebildet wurden, wurden die Frau

Kreutz, stellvertretende dbb bundesvorsitzende und Vorsitzende der dbb bundesfrauenvertretung. „Aufgrund von struktu rellen Benachteiligungen haben es Frauen immer noch deutlich schwerer, in Führungspositionen zu kommen. Die KI erkennt diese Diskriminierung als Soll-Zustand.“ Wenn Ent wickler ihrer KI beibrin

Foto: © Erdacht mit KI

Wenn KI Klischees erscha ff t: Frau im ö ff entlichen Dienst = Lehrerin.

en in der Hälfte aller Fälle als Lehrerin nen abgebildet. Wie kann das sein? KI ist bei Weitem nicht neutral oder realitätsnah; sie gibt verzerrte Antwor ten. Denn das Material, mit dem die KI trainiert wird, enthält Vorurteile, per sönliche Präferenzen und Abneigun gen. Die KI überträgt diese Haltungen und Stereotype auf ihre Ergebnisse. In der Fachsprache heißt dieses Phä nomen „Garbage in, Garbage out“ („Müll rein, Müll raus“). In der echten Welt hat diese einprogrammierte Vor eingenommenheit fatale Folgen. Bei spielsweise baute sich Amazon zwi schen 2014 und 2017 eine KI, die die besten Bewerberinnen und Bewerber aussuchen sollte. Das Ergebnis: Frau en wurden stets niedriger eingestuft, allein das Wort „Frau“ (zum Beispiel in „Frauenfußball“) sorgte für eine schlechtere Bewertung.

gen, weniger zu diskriminieren, be kämpfe das zwar die Symptome, nicht aber die Ursache. „Schon das Daten set, aus dem die KI ihre Ergebnisse zieht, muss frei von Vorurteilen sein. Den Schub zur Gleichstellung in der KI-Welt scha ff en wir nur ohne Diskri minierung in der echten Welt.“ Pia Sombetzki, Policy und Advocacy Mana gerin bei AlgorithmWatch, schlägt ebenfalls vorbeugende Maßnahmen vor: „Es sollte zum Beispiel eine KI-Fol genabschätzung durchgeführt wer den, um Problemstellen zu identi fi zie ren. So sieht es auch die neue EU-KI Verordnung für ö ff entliche Stellen vor. Darüber hinaus sollte ein transparen ter Umgang mit KI-Einsätzen gep fl egt und in Kompetenzbildung im Umgang mit automatisierten Entscheidungssys temen investiert werden.“ Algorithm Watch macht als Nichtregierungsorga

47 PROFIL / DBB-Seiten // 7-8/2024