sofortiger Stopp

12. Februar 2020

Das niederländische Sozialministerium fahndete mit Algorithmen nach angeblichen Sozialbetrügern – allerdings nur in ärmeren Gegenden. Ein Gericht hält das für diskriminierend und ordnete einen Stopp an.

Am vergangenen Mittwoch ordnete ein niederländisches Gericht [am Regierungssitz in Den Haag] den sofortigen Stopp eines Programms an, das vermeintlichen Sozialbetrug automatisiert erkennen sollte. Es sei unvereinbar mit der Europäischen Menschenrechtskonvention, urteilten die Richter:innen. Die Gerichtsentscheidung ist nicht bindend für die Regierung, der UN-Sonderberichterstatter für extreme Armut und Menschenrechte, Philip Alston erwartet aber, dass diese ihm Folge leisten wird. Das Urteil sei bahnbrechend, twitterte er.

System Risico Indicatie“ (SyRI) ist der Name des Tools, das seit 2014 offiziell verwendet wird. Gefüttert mit Daten aller möglichen Behörden rechnete es aus, wie hoch das Risiko einer bestimmten Person sei, den Staat um Sozialleistungen zu betrügen. Dazu analysieren die Behörden sensible Daten, die ursprünglich für andere Zwecke gesammelt wurden. Einige Menschen stuft das System dann als „Hoch-Risiko-Bürger:innen“ ein, daraufhin werden Ermittlungsverfahren gegen sie eingeleitet.

Aufgrund des Wohnorts verdächtigt

SyRI wird nur auf Daten von Personen aus bestimmten Regionen des Landes angewandt. Orte, an denen besonders viele Menschen unter einer nicht näher definierten Einkommensgrenze leben, wurden mit SyRI untersucht – obwohl es keinen Nachweis gibt, dass Personen aus diesen Regionen überdurchschnittlich häufig Sozialbetrug begehen.

Menschenrechtsaktivist:innen hatten 2019 Klage gegen SyRI eingereicht, weil es arme Menschen diskriminiere, so Human Rights Watch auf seinem Blog. SyRI verletze das Recht auf Privatsphäre und das Recht auf soziale Sicherheit, schreibt Alston, der UN-Sonderberichterstatter, in einem ausführlichen Bericht über SyRI an das Gericht. Darin verglich er das Tool mit Inspektor:innen, die in einer bestimmten Siedlung an alle Türen klopften – während in anderen, besser situierten Gegenden niemand geprüft werde.

Das niederländische Sozialministerium kündigt an, das Urteil „im Detail“ zu untersuchen; es kann gegen das Urteil berufen. Die Stellungnahme des Ministeriums betont indes in einem ganzen Absatz die Wichtigkeit genauer Kontrollen für das Funktionieren des Sozialsystems.

Und führe sie nicht in Versuchung

Die Aussicht auf Effizienzsteigerung und Kosteneinsparung durch Automatisierung findet nicht nur das Sozialministerium der Niederlande verlockend.

Der zyprische Datenschutzbeauftragte verbot zuletzt einem Tourismuskonzern die Nutzung eines Tools, das die Häufigkeit und die Zeitpunkte von Krankmeldungen der Angestellten analysierte. Dies verstoße gegen die Datenschutzgrundverordnung. Der Konzern darf nun keine automatisierten Auswertungen des „Bradford Factor“ vornehmen, er muss alle gesammelten Daten löschen und 82.000 Euro Strafe zahlen.

Der Guardian berichtete indes von Bemühungen des britischen Ministeriums für Arbeit und Renten, die Vorgänge und Dienstleistungen in seinen Behörden an Maschinen abzugeben. „Schneller, akkurater und günstiger“ solle das Ministerium schließlich arbeiten können, sagte ein Vertreter dem Guardian.

Spannend also, ob Gerichte im Vereinigten Königreich und in anderen Ländern wie Dänemark, wo Behörden auch auf Automatisierung setzen, sich ein Vorbild an der niederländischen Rechtsprechung nehmen. Noch besser wäre natürlich, Sozialministerien verzichteten gleich auf Programme wie SyRI.


Text: Lucia via netzpolitik.org Creative Commons BY-NC-SA 4.0.
Foto: Steven Lek: Justizpalast den Haag, Creative Commons Attribution-Share Alike 4.0 International

Autopilot

12. Februar 2020

Was Teslas Autopilot auf der Straße sieht und verarbeitet? Genau genommen nicht weniger als der Mensch. Nur, dass der das offenbar anders verarbeitet. Schon beeindruckend. Bei beiden.

This video shows what Tesla Autopilot’s neural network sees on the road. Tesla says the system relies on per-camera networks to analyze raw images to perform semantic segmentation, object detection and monocular depth estimation. It employes birds-eye-view networks to take a video from all cameras to output the road layout, static infrastructure and 3D objects directly in the top-down view.

(Direktlink, via Nag on the lake und das_kfmw)