sofortiger Stopp

12. Februar 2020

Das niederländische Sozialministerium fahndete mit Algorithmen nach angeblichen Sozialbetrügern – allerdings nur in ärmeren Gegenden. Ein Gericht hält das für diskriminierend und ordnete einen Stopp an.

Am vergangenen Mittwoch ordnete ein niederländisches Gericht [am Regierungssitz in Den Haag] den sofortigen Stopp eines Programms an, das vermeintlichen Sozialbetrug automatisiert erkennen sollte. Es sei unvereinbar mit der Europäischen Menschenrechtskonvention, urteilten die Richter:innen. Die Gerichtsentscheidung ist nicht bindend für die Regierung, der UN-Sonderberichterstatter für extreme Armut und Menschenrechte, Philip Alston erwartet aber, dass diese ihm Folge leisten wird. Das Urteil sei bahnbrechend, twitterte er.

System Risico Indicatie“ (SyRI) ist der Name des Tools, das seit 2014 offiziell verwendet wird. Gefüttert mit Daten aller möglichen Behörden rechnete es aus, wie hoch das Risiko einer bestimmten Person sei, den Staat um Sozialleistungen zu betrügen. Dazu analysieren die Behörden sensible Daten, die ursprünglich für andere Zwecke gesammelt wurden. Einige Menschen stuft das System dann als „Hoch-Risiko-Bürger:innen“ ein, daraufhin werden Ermittlungsverfahren gegen sie eingeleitet.

Aufgrund des Wohnorts verdächtigt

SyRI wird nur auf Daten von Personen aus bestimmten Regionen des Landes angewandt. Orte, an denen besonders viele Menschen unter einer nicht näher definierten Einkommensgrenze leben, wurden mit SyRI untersucht – obwohl es keinen Nachweis gibt, dass Personen aus diesen Regionen überdurchschnittlich häufig Sozialbetrug begehen.

Menschenrechtsaktivist:innen hatten 2019 Klage gegen SyRI eingereicht, weil es arme Menschen diskriminiere, so Human Rights Watch auf seinem Blog. SyRI verletze das Recht auf Privatsphäre und das Recht auf soziale Sicherheit, schreibt Alston, der UN-Sonderberichterstatter, in einem ausführlichen Bericht über SyRI an das Gericht. Darin verglich er das Tool mit Inspektor:innen, die in einer bestimmten Siedlung an alle Türen klopften – während in anderen, besser situierten Gegenden niemand geprüft werde.

Das niederländische Sozialministerium kündigt an, das Urteil „im Detail“ zu untersuchen; es kann gegen das Urteil berufen. Die Stellungnahme des Ministeriums betont indes in einem ganzen Absatz die Wichtigkeit genauer Kontrollen für das Funktionieren des Sozialsystems.

Und führe sie nicht in Versuchung

Die Aussicht auf Effizienzsteigerung und Kosteneinsparung durch Automatisierung findet nicht nur das Sozialministerium der Niederlande verlockend.

Der zyprische Datenschutzbeauftragte verbot zuletzt einem Tourismuskonzern die Nutzung eines Tools, das die Häufigkeit und die Zeitpunkte von Krankmeldungen der Angestellten analysierte. Dies verstoße gegen die Datenschutzgrundverordnung. Der Konzern darf nun keine automatisierten Auswertungen des „Bradford Factor“ vornehmen, er muss alle gesammelten Daten löschen und 82.000 Euro Strafe zahlen.

Der Guardian berichtete indes von Bemühungen des britischen Ministeriums für Arbeit und Renten, die Vorgänge und Dienstleistungen in seinen Behörden an Maschinen abzugeben. „Schneller, akkurater und günstiger“ solle das Ministerium schließlich arbeiten können, sagte ein Vertreter dem Guardian.

Spannend also, ob Gerichte im Vereinigten Königreich und in anderen Ländern wie Dänemark, wo Behörden auch auf Automatisierung setzen, sich ein Vorbild an der niederländischen Rechtsprechung nehmen. Noch besser wäre natürlich, Sozialministerien verzichteten gleich auf Programme wie SyRI.


Text: Lucia via netzpolitik.org Creative Commons BY-NC-SA 4.0.
Foto: Steven Lek: Justizpalast den Haag, Creative Commons Attribution-Share Alike 4.0 International

Bürgermeisterwahl ’18

13. April 2018

Bei den Bürgermeisterwahlen in Tama nahe Tokio tritt ein Kandidat an, der politische Entscheidungen sowie Budgetberechnungen mithilfe einer künstlichen Intelligenz durchführen will. So sollen Betrug und Interessenkonflikte verhindert werden.

Das Wahlplakat des Kandidaten Matsuda Michihito
Das Wahlplakat des Kandidaten Matsuda Michihito (Bild: Matsuda Michihito)

Kurz vor den Bürgermeisterwahlen in der Stadt Tama in der Präfektur Tokio hat sich damit ein ungewöhnlicher Außenseiterkandidat angemeldet: Matsuda Michihito wirbt damit, als Bürgermeister eine künstliche Intelligenz (KI, engl. AI) die Entscheidungen treffen lassen zu wollen.

Entsprechend ist auf den Wahlplakaten keine menschliche Person zu sehen, sondern eine Art Roboter. Der Kandidat Matsuda selbst ist einem Bericht von Business Insider zufolge allerdings real, 44 Jahre alt und soll für ein großes IT-Unternehmen arbeiten.

Mit Hilfe der KI…

[…weiter bei Golem.de]