Das AMS in Wien wollte effizienter werden. Der österreichische Arbeitsmarktservice entwickelte einen Algorithmus, der arbeitslosen Menschen eine sogenannte “Integrationschance” berechnet: Wie hoch ist die Wahrscheinlichkeit, dass diese Person innerhalb eines bestimmten Zeitraums wieder Arbeit findet?
Das Modell nutzte 13 Personenmerkmale. Darunter: Altersgruppe, Ausbildung, Gesundheitszustand. Und Geschlecht. Frauen bekamen Minuspunkte. Mütter bekamen noch mehr Minuspunkte.
Wer niedrig eingestuft wurde, bekam weniger Investition: weniger teure Weiterbildungsmaßnahmen, weniger aktive Betreuung. Der Algorithmus entschied. Die meisten Betroffenen wussten nicht einmal, dass eine Maschine über ihre Förderung geurteilt hatte.
Das ist kein Gedankenexperiment. Das ist Österreich, 2019 bis 2020.
Was der AMS-Algorithmus tatsächlich gemacht hat
Das System reproduzierte den Arbeitsmarkt so, wie er ist, nicht so, wie er sein sollte. Da Frauen statistisch gesehen seltener und langsamer in feste Beschäftigung zurückkehren, bekamen sie schlechtere Prognosen, also auch weniger Unterstützung. Die Schlechterstellung führte zu weniger Förderung, was die tatsächliche Wiedereingliederung erschwerte. Kein Durchkommen.
Das AMS verteidigte das Modell mit einem Argument, das auf den ersten Blick logisch klingt: Der Algorithmus bilde nur den realen Arbeitsmarkt ab. Nicht der Computer diskriminiere Frauen, sondern der Arbeitsmarkt selbst tue das.
Dieses Argument ist nicht falsch, aber trotzdem grundlegend problematisch. Ein Modell, das historische Benachteiligung als Tatsache behandelt und Ressourcen danach verteilt, verfestigt diese Benachteiligung aktiv. Es ist kein neutraler Spiegel. Es ist ein Mechanismus, der Ungleichheit verlängert: automatisiert, im Auftrag des Staates.
Die österreichische Datenschutzbehörde untersagte den Einsatz im August 2020. Das Bundesverwaltungsgericht hob das Verbot im Dezember 2020 wieder auf. Der Fall landete beim Verwaltungsgerichtshof und verschwand dort in einem jahrelangen Rechtslimbo. Während Betroffene warteten: kein klares Widerspruchsrecht, keine verständliche Erklärung, warum sie schlechter eingestuft worden waren.
Die Niederlande: Wenn ein Gericht den Algorithmus stoppt
Ein anderer Fall, ein anderes Land, aber dieselbe Grundfrage. Das niederländische System SyRI (Systeem Risico Indicatie) verknüpfte Daten aus Steuer- und Sozialbehörden sowie der Wohnsitzmeldestelle, um Risikoprofile für mutmaßlichen Sozialbetrug zu erstellen.
Am 5. Februar 2020 ordnete das Bezirksgericht Den Haag die sofortige Einstellung an. Begründung: SyRI verletze Artikel 8 der Europäischen Menschenrechtskonvention, das Recht auf Privatleben. Das System sei zu undurchsichtig und sammle Daten ohne klare Zweckbindung. Besonders problematisch: Es verdächtige Menschen in einkommensschwachen Stadtteilen systematisch stärker.
Philip Alston, damaliger UN-Sonderberichterstatter für extreme Armut und Menschenrechte, kommentierte das Urteil: “This is one of the first times a court anywhere has stopped the use of digital technologies and abundant digital information by welfare authorities on human rights grounds.”
Es war kein kleines Urteil. Es war das erste seiner Art weltweit.
Deutschland: Die Automatisierung läuft an
Österreich und die Niederlande haben etwas gemeinsam: Ihre Fehler sind dokumentiert und juristisch aufgearbeitet. Sie haben früh gebaut.
Deutschland ist später dran. Aber die Richtung ist dieselbe.
Im Oktober 2024 schloss die Bundesagentur für Arbeit einen Rahmenvertrag mit dem Heidelberger KI-Unternehmen Aleph Alpha: bis zu 19 Millionen Euro über vier Jahre. Ziel ist der Einsatz von PhariaAI, Aleph Alphas Unternehmensplattform, für die Automatisierung interner Verwaltungsprozesse. Die BA-Vorsitzende Andrea Nahles hatte bereits 2022 die “Dekade der Automatisierung” ausgerufen. Bis 2032 werden schätzungsweise 35 Prozent des Personals die Behörde verlassen. Diesen Schwund will man nicht vollständig durch Neueinstellungen auffangen.
In ersten Pilottests berichtete die Bundesagentur von einer spürbaren Verkürzung der Bearbeitungszeit für Verwaltungsbescheide. Das ist ein echter Effizienzgewinn.
Gleichzeitig sind die Probleme aus Österreich und den Niederlanden strukturell möglich: Entscheidungen über Sozialleistungen oder Förderzugang, die von Systemen beeinflusst werden, die Betroffene nicht kennen und nicht anfechten können.
Das Problem ist nicht die Maschine
Es wäre bequem, das Problem in der KI zu sehen. Tatsächlich liegt es in der fehlenden Rechenschaftspflicht.
Wenn ein Sachbearbeiter einen Antrag ablehnt, gibt es eine Begründung sowie einen Widerspruchsweg bis zum Verwaltungsgericht. Das sind Strukturen, die über Jahrzehnte aufgebaut wurden, weil Entscheidungen des Staates über Menschen anfechtbar sein müssen.
Wenn ein Algorithmus dieselbe Entscheidung trifft oder maßgeblich vorbereitet, gelten diese Strukturen oft nicht. Betroffene wissen nicht, dass ein Modell involviert war, und nicht, welche Merkmale negativ bewertet wurden. Sie wissen nicht, ob das Modell auf verzerrten Daten trainiert wurde.
Der EU AI Act hat das erkannt. KI-Systeme, die bei Sozialleistungen oder Aufenthaltsstatus eingesetzt werden, gelten als Hochrisiko. Ab August 2026 müssen Anbieter und Betreiber solcher Systeme diese dokumentieren, auf menschliche Aufsicht auslegbar machen und Betroffenen Erklärungsrechte einräumen. Erklärungsrechte für Betroffene sind im Gesetz angelegt.
Das sind wichtige Schritte. Aber: Ein Gesetz ohne Durchsetzungsinfrastruktur ist eine Absichtserklärung. Die Behörden, die diese Systeme einsetzen, bauen die Kontrolle gerade erst auf.
Was du fordern kannst — konkret
Du musst keine Softwareingenieurin sein, um legitime Ansprüche zu stellen. Drei Fragen, die du stellen kannst, wenn dich eine Behördenentscheidung betrifft:
Wurde eine KI oder ein automatisiertes System bei dieser Entscheidung eingesetzt? Behörden sind zunehmend verpflichtet, das transparent zu machen. Wenn sie es nicht tun, ist das ein Hinweis, dass die Umsetzung des EU AI Act in der betreffenden Stelle noch nicht angekommen ist.
Welche Daten haben das Ergebnis beeinflusst? Das Erklärungsrecht ist im EU AI Act verankert. Bei Hochrisiko-Systemen muss eine verständliche Begründung möglich sein.
Gibt es einen menschlichen Ansprechpartner, der die Entscheidung überprüft? Für folgenreiche Entscheidungen über Sozialleistungen oder Förderzugang ist das keine Kulanzfrage, sondern Pflicht.
Der österreichische AMS-Fall hat gezeigt, was passiert, wenn diese Fragen nicht gestellt werden: Ein System diskriminiert systematisch. Der Rechtsweg dauert Jahre. Die Niederlande haben gezeigt, dass Gerichte korrigieren können. Aber das braucht NGOs, die klagen, und Bürger, die nicht stillhalten. Und Medien, die genau hinschauen.
Deutschland hat die Chance, aus beiden Fällen zu lernen, bevor dieselben Fehler passieren. Ob sie genutzt wird, entscheidet sich jetzt, während die Systeme gebaut werden — nicht später, wenn sie schon laufen.