Künstliche Intelligenz birgt das Potenzial, menschliches Verhalten gezielt zu manipulieren und tief in Grundrechte einzugreifen. Die Risiken reichen von psychischen und physischen Gesundheitsschäden bis hin zur systematischen Diskriminierung oder finanziellen Ausbeutung. Um diese Gefahren abzuwenden, hat der europäische Gesetzgeber mit Artikel 5 der KI-Verordnung (AI Act) eine „rote Linie“ gezogen: Bestimmte Anwendungen gelten als inakzeptables Risiko und sind in der Europäischen Union strikt untersagt.

Seit dem 2. Februar 2025 sind diese Verbote bereits unmittelbar anwendbar. Das neu geschaffene KI-Amt (AI Office) sowie die EU-Kommission haben seither detaillierte Leitlinien veröffentlicht, um die Auslegung dieser Verbote in der Praxis zu definieren.

Die Liste der verbotenen KI-Praktiken:

Nachfolgende acht Anwendungsbereiche sind laut KI-VO untersagt, da sie die menschliche Würde und die Grundwerte der EU untergraben:

• Kognitive Verhaltensmanipulation: Verboten sind Systeme, die unterschwellige (subliminale) Techniken oder absichtliche Täuschung einsetzen, um Personen zu Entscheidungen zu verleiten, die sie sonst nicht getroffen hätten und die ihnen oder anderen erheblichen Schaden zufügen.
• Ausnutzung von Schutzbedürftigkeit: KI darf nicht dazu genutzt werden, Schwächen von Personen – etwa aufgrund ihres Alters, einer Behinderung oder einer spezifischen sozialen bzw. wirtschaftlichen Situation – gezielt auszunutzen.
• Social Scoring (Soziale Bewertung): Die Klassifizierung natürlicher Personen über einen gewissen Zeitraum hinweg basierend auf ihrem sozialen Verhalten oder Persönlichkeitsmerkmalen ist verboten, sofern dies zu einer ungerechtfertigten Benachteiligung führt. Dies gilt sowohl für staatliche Stellen als auch für private Akteure.
• Predictive Policing bei Einzelpersonen: Untersagt ist die Nutzung von KI, um das Risiko einer Person, eine Straftat zu begehen, allein auf Basis von Profiling oder Persönlichkeitsmerkmalen vorherzusagen (ausgenommen zur Unterstützung menschlicher Ermittlungen bei konkreten Fakten).
• Ungezieltes Scraping von Gesichtsbildern: Das systematische Auslesen von Gesichtsbildern aus dem Internet oder von Videoüberwachungsaufnahmen zur Erstellung von Gesichtserkennungs-Datenbanken ist untersagt.
• Emotionserkennung am Arbeitsplatz & in Bildungseinrichtungen: Der Einsatz von Systemen, die Emotionen von Personen in Schulen oder am Arbeitsplatz identifizieren sollen, ist verboten – es sei denn, dies erfolgt aus rein medizinischen oder sicherheitstechnischen Gründen.
• Biometrische Kategorisierung sensibler Daten: Systeme, die Personen anhand biometrischer Daten kategorisieren, um Rückschlüsse auf Rasse, politische Meinung, Gewerkschaftszugehörigkeit, religiöse Überzeugungen oder die sexuelle Orientierung zu ziehen, sind untersagt.
• Biometrische Echtzeit-Fernidentifizierung: Die Überwachung öffentlicher Räume mittels Gesichtserkennung in Echtzeit durch Strafverfolgungsbehörden ist grundsätzlich verboten. Ausnahmen gelten nur für eng definierte Fälle (z. B. Suche nach Opfern von Entführungen oder Abwehr einer konkreten terroristischen Gefahr) und erfordern eine vorherige richterliche Genehmigung.

Aktuelle Entwicklungen und Aufsicht

Die EU-Kommission überprüft diese Liste jährlich, um auf technologische Trends zu reagieren. Das KI-Amt fungiert dabei als zentrale Instanz: Es unterstützt die nationalen Marktüberwachungsbehörden bei der Durchsetzung und hilft Unternehmen durch praktische Beispiele (Use-Cases), die Grenze zwischen erlaubter Hochrisiko-KI und verbotenen Praktiken zu ziehen. Verstöße gegen diese Verbote können seit 2025 mit Bußgeldern von bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes geahndet werden.