Richtlinie für den Einsatz von
künstlicher Intelligenz

für externe Dienstleister der ML Gruppe

9. Vermeidung von Diskriminierung

• Diskriminierungsverbot: Es ist entscheidend, Vielfalt, Fairness und Gleichbehandlung bei der Nutzung von KI-Systemen sicherzustellen. Verwenden Sie beim Training der KI-Systeme Daten, die frei von Vorurteilen sind. Überwachen Sie den Einsatz der KI-Systeme kontinuierlich, um gerechte Entscheidungen zu gewährleisten.
• Diskriminierende Kriterien: KI-Systeme und Datengrundlagen müssen insbesondere frei von Vorurteilen und Benachteiligungen sein, die auf Merkmalen wie ethnischer Herkunft, Nationalität, Religion oder Weltanschauung, Geschlecht, Alter, Behinderung, sexueller Orientierung, Familienstand, Schwangerschaft oder Mutterschaft, Geschlechtsidentität oder Geschlechtsausdruck, politischen Überzeugungen oder sozialem Status basieren.

10. Datenschutz und Schutz von Geschäftsgeheimnissen der ML Gruppe sowie deren Kunden im Rahmen von Projekten und Trainings

• Schutz von personenbezogenen Daten: In jedem Stadium der Verarbeitungsphasen eines KI-Systems oder KI-Modells (Erhebung, Training, Bereitstellung, Nutzung, Weiterentwicklung) muss im Fall der Verarbeitung personenbezogener Daten geprüft werden, ob eine rechtliche Grundlage vorliegt und die Vorgaben der DSGVO eingehalten werden. In keinem Fall dürfen personenbezogenen Daten ohne vorherige Prüfung der Rechtmäßigkeit durch ein KI-System verarbeitet werden. Die Prüfung muss protokolliert werden. Sofern möglich werden anonymisierte bzw. pseudonymisierte Daten verarbeitet.
• Weitere Vorgaben der DSGVO: Beim Einsatz von KI-Systemen, die mit einer Verarbeitung personenbezogener Daten einhergeht, gewährleisten Sie die Einhaltung der sonstigen Vorgaben der DSGVO. Dazu zählt insbesondere die Gewährleistung von Betroffenenrechte, die Durchführung einer Datenschutz-Folgenabschätzung, die Einführung technischer und organisatorischer Schutzmaßnahmen (Privacy by Design/Privacy by Default) sowie die Aufnahme der Verarbeitung in das Verzeichnis von Verarbeitungstätigkeiten.
• Schutz von Geschäftsgeheimnissen: Sensible geschäftliche Informationen der ML Gruppe, die die Voraussetzungen des § 2 Geschäftsgeheimnisgesetzes erfüllen und sonstige als besonders vertraulich gekennzeichnete Daten (bspw. Kundendaten, Geschäftsstrategien, interne Prozesse, Richtlinien, Konzepte und Prompts) sind besonders geschützt („Geschäftsgeheimnisse“). Geschäftsgeheimnisse dürfen dem KI-System oder KI-Modell ohne vorherige schriftliche Zustimmung der ML Gruppe zu keinem Zeitpunkt der Verarbeitungsphasen zugängig gemacht werden. Wenn Sie Zweifel haben, ob ein Geschäftsgeheimnis vorliegt, wenden Sie sich an den zuständigen Ansprechpartner der ML Gruppe.
• Schutz von personenbezogenen Daten und Geschäftsgeheimnissen während der Dateneingabe: Bitte berücksichtigen Sie, dass das Eingeben von Texten oder das Hochladen von Dokumenten zur Verarbeitung der Daten durch die jeweils eingesetzten KI-Systeme führt. Diese Verarbeitung kann nicht rückgängig gemacht werden. Übermitteln Sie daher Daten an KI-Systeme mit entsprechender Vorsicht. Tun Sie dies nur, wenn Sie sich sicher sind, dass entweder die Daten keine Risiken bergen oder das KI-System hinreichend datenschutzrechtlich sicher ist. Eine Verarbeitung von Geschäftsgeheimnissen ist untersagt und bedarf der ausdrücklichen schriftlichen Zustimmung der ML Gruppe.
• Sensible Daten: Bitte beachten Sie, dass die Verarbeitung von sensiblen Daten durch KI-Systeme, wie z. B. Bankdaten oder besondere Kategorien personenbezogener Daten (ethnische Herkunft, politische Meinungen, religiöse oder weltanschauliche Überzeugungen, Gewerkschaftszugehörigkeit, genetische Daten, biometrische Daten zur eindeutigen Identifizierung einer Person, Gesundheitsdaten oder Daten zum Sexualleben oder der sexuellen Orientierung), nur unter Beachtung der Vorgaben von Art. 9 DSGVO erfolgen darf. Stellen Sie bitte sicher, dass vor der Verarbeitung eine rechtliche Prüfung der Zulässigkeit durchgeführt und die Verarbeitung protokolliert wird.
• Grundsatz der Richtigkeit: Stellen Sie bitte sicher, dass personenbezogene Daten sachlich richtige sind, um Verzerrungen in den Ergebnissen zu vermeiden, die die Interessen der betroffenen Personen, des Arbeitgebers oder Dritter beeinträchtigen könnten. Unrichtige personenbezogene Daten sind unverzüglich zu löschen. Validieren und verifizieren Sie die Daten vor deren Nutzung, um sicherzustellen, dass KI-Systeme mit zuverlässigen und richtigen Daten arbeiten. Dies gilt nicht nur für Eingabedaten, sondern auch für während der KI-Verfahren generierte Daten. Es kommt regelmäßig vor, dass ein Large Language Model Halluzinationen erzeugt. Es handelt sich hierbei um unrichtige Informationen, die zunächst plausibel erscheinen können. Halluzinationen kollidieren mit dem Grundsatz der Richtigkeit.
• Keine automatisierte Entscheidungsfindung/kein Profiling: Stellen Sie sicher, dass KI-Systeme keine automatisierten Entscheidungen treffen oder Ergebnisse bereitstellen, die natürliche Personen rechtlich betreffen oder sie in ähnlicher Weise erheblich beeinflussen, ohne dass eine gründliche menschliche Prüfung erfolgt. Dies ist datenschutzrechtlich nur unter den Voraussetzungen des Art. 22 DSGVO zulässig. Im Fall des Profilings liegt zudem regelmäßig ein Hochrisiko-KI-System vor.
• Protokollierung des KI-Einsatzes bei der Verwendung personenbezogener Daten: Bitte protokollieren und kontrollieren Sie die Nutzung von KI-Systemen sowie den Zugriff auf personenbezogene Daten oder – falls im Einzelfall ausnahmsweise zulässig – auf Geschäftsgeheimnisse. Schützen Sie personenbezogene Daten und Geschäftsgeheimnisse vor Missbrauch. Wenn das Risiko besteht, dass diese Daten unbeabsichtigt KI-Prozessen unterzogen werden könnten, schützen Sie diese Daten besonders (z. B. durch Kennzeichnung oder Trennung von Datensätzen, Inhalten).
• Rechte der betroffenen Personen: Bitte tragen Sie dafür Sorge, dass die Rechte der Personen, deren Daten durch KI-Systeme verarbeitet werden, eingehalten und von Ihnen jederzeit erfüllt werden können. Dies gilt insbesondere für die Betroffenenrechte nach Art. 12 ff. DSGVO (Recht auf Auskunft, Löschung, Berichtigung, Datenübertragbarkeit, Widerruf oder Widerspruch). Sofern aufgrund zwingender rechtlicher Vorgaben die ML Gruppe die Betroffenenrechte erfüllen muss, stellen Sie alle erforderlichen Unterlagen und Informationen unverzüglich zur Verfügung.
• Einhaltung der Vertraulichkeitspflicht: Bitte beachten Sie bei der Nutzung von KI-Systemen auch die sonstigen vertraglichen Verpflichtungen zur Vertraulichkeit, Geheimhaltung und zum Datenschutz.

11. Kennzeichnung und Transparenz

• Transparenz: Stellen Sie sicher, dass der Einsatz von KI-Systemen stets das höchstmögliche Maß an Transparenz gewährleistet. Dazu gewährleisten Sie insbesondere, dass KI-Systeme und die von KI erzeugten oder modifizierten Inhalte transparent erkennbar sind (bspw. durch Beschriftungen, Overlays, Banner, Pop-ups und auditive Hinweise, Wasserzeichen oder Hashing). Seien Sie sich der Komplexität der verwendeten KI-Systeme bewusst und streben Sie ein grundlegendes Verständnis ihrer Funktionsweise an. Sollten spezifische Fragen zur Transparenz von Entscheidungsprozessen bestehen, wenden Sie sich bitte an Ihren jeweiligen Ansprechpartner bei der ML Gruppe.
• Vermeidung von Desinformation: Stellen Sie stets sicher, dass Sie mit KI-Ergebnissen nicht versehentlich Desinformationen verbreiten oder irreführende Darstellungen fördern.

12. Schutz des geistigen Eigentums

• Beachtung der Schutzrechte Dritter: Bei der Nutzung von KI müssen die Urheberrechte, Markenrechte, Patentrechte, Persönlichkeitsrechte und andere Schutzrechte Dritter beachtet werden und dürfen durch KI-Ergebnisse oder KI-Entscheidungen nicht verletzt werden.
• Verbot der unbefugten Nutzung und Veränderung geschützter Werke: Jegliche unbefugte Nutzung und Veränderung urheberrechtlich geschützter Werke sind untersagt. Bei Zitaten und der teilweisen Übernahme von Inhalten ist das Urheberrecht stets zu beachten.
• Schutz von Persönlichkeitsrechten: Die KI darf keine Inhalte erzeugen, die die Persönlichkeitsrechte Dritter verletzen. Es ist unzulässig, gezielt Ergebnisse zu erzeugen, die z. B. die Ähnlichkeit von prominenten oder sonstigen existierenden Personen oder deren Stimmen erkennbar nachahmen, ohne deren Zustimmung zu haben.

13. Kontrolle und Überwachung

• Erforderliche menschliche Aufsicht (Human in the Loop): Bitte beachten Sie, dass KI-Systeme Fehler machen können. Aus diesem Grund müssen deren Einsatz sowie die Umsetzung ihrer Entscheidungen und Inhalte stets der menschlichen Aufsicht und Kontrolle unterliegen.
• Wichtigkeit der Zuverlässigkeit und Aktualität: Bei der Suche nach Informationen mittels KI-Systemen achten Sie auf die Zuverlässigkeit der Quelle und die Aktualität der Information. Validieren Sie die Richtigkeit entsprechend der Bedeutung der Information sorgfältig.

14. KI im Rahmen von Verträgen und Vertragsverhältnissen mit Subunternehmern

• Sicherstellung der Geltung der KI-Richtlinie bei Bezug von KI-Drittleistungen: Beim Abschluss von Verträgen über Dienstleistungen die potentiell unter Anwendung von KI erbracht werden, und die im Rahmen von Projekten mit der ML Gruppe zum Einsatz kommen, müssen die Grundsätze und Richtlinien dieser KI-Richtlinie zum Vertragsbestandteil werden. Alternativ bitten Sie um die Vorlage von KI-Richtlinien der potenziellen Vertragspartner, die inhaltlich dieser Richtlinie entsprechen und verbindlich bei dem potenziellen Vertragspartner gelten. Ist die vertragliche Einbindung der KI-Richtlinie nicht möglich und kann keine KI-Richtlinie des potenziellen Vertragspartners vorgelegt werden, ist der Einsatz der KI-Drittleistungen nur zulässig im Rahmen eines Projekts mit der ML Gruppe, wenn durch die ML Gruppe geprüft wurde, dass die KI-Drittleistung mit dieser KI-Richtlinie im Einklang steht. Sie informieren die ML Gruppe darüber unverzüglich.

15. Haftung, Haftungsminderung und Sanktionen

• Haftung des Auftragnehmers: Bitte beachten Sie, dass Sie als Auftragnehmer grundsätzlich und unmittelbar für die von Ihnen mittels KI-Systemen begangenen Fehler haften. Seien es fehlerhafte KI-Ergebnisse, Verstöße gegen die KI-VO Datenschutzverstöße im Rahmen der Verarbeitung von Daten durch KI-Systeme oder getroffene beziehungsweise vorgeschlagene Entscheidungen, die zu Schäden bei dritten Personen oder Unternehmen führen. Beachten Sie, dass die Haftungs- und Sanktionsmechanismen nach Art. 99 ff. KI-VO insbesondere davon abhängen, in welcher Rolle Sie KI-Systeme nutzen (Anbieter, Betreiber, Einführer, Händler, Produkthersteller oder Bevollmächtigte).
• Rechtsfolgen bei Missachtung der KI-Richtlinie/Haftung: Bitte beachten Sie, dass die Einhaltung der KI-VO und dieser KI-Richtlinie, insbesondere in Bezug auf Datenschutz, Schutz von Geschäftsgeheimnissen und geistigem Eigentum sowie von Kundendaten von großer Bedeutung ist. Verstöße gegen diese Vorgaben können rechtliche Konsequenzen wie Unterlassungs-, Beseitigungs- und Schadensersatzansprüche sowie Auskunftsansprüche und Bußgelder nach sich ziehen. Darüber hinaus können solche Verstöße auch eine Verletzung vertraglicher Pflichten darstellen und möglicherweise zu Vertragskündigungen oder Schadensersatzforderungen führen.
• Beweislast und Haftung: Sie tragen als Auftragnehmer die Beweislast dafür, dass im Fall der Schädigung einer dritten Person oder eines anderen Haftungsfalls der Schaden bzw. der Haftungsfall nicht Folge eines von Ihnen zu vertretenden Umstandes ist, soweit es um einen in den Anwendungsbereich dieser KI-Richtlinie fallenden Vorgangs geht. Solange dieser Beweis nicht erbracht wurde, stellen Sie uns auf erste Anforderung von allen Ansprüchen frei und ersetzen uns alle entstanden Kosten der Rechtsverteidigung, soweit es um Vorgänge geht, die in den Anwendungsbereich dieser Richtlinie fallen. Weiterhin haften Sie für alle Schäden, die Sie oder von Ihnen beauftragte Personen/Subunternehmer oder eigene Mitarbeiter im Zusammenhang mit der Durchführung dieser Richtlinie schuldhaft verursachen.
• Zurückbehaltungsrecht: Ein Zurückbehaltungsrecht wird hinsichtlich etwaiger verarbeiteter Daten und zugehöriger Datenträger ausgeschlossen.

Anlage: Technische Definitionen und Erläuterungen

Diese Anlage zur KI-Richtlinie dient dazu, die wesentlichen Begriffe und Konzepte im Zusammenhang mit dem Betrieb und Einsatz von Künstlicher Intelligenz (KI) zu erläutern. Eine präzise Definition dieser Begrifflichkeiten fördert ein gemeinsames Verständnis und gewährleistet eine einheitliche und transparente Kommunikation sowie die Berücksichtigung ethischer und rechtlicher Aspekte beim Einsatz von KI. Dabei ist zu beachten, dass einige der Begriffe bereits gesetzlich – insbesondere in der KI-VO – definiert sind. Auf diese gesetzlichen Definitionen wird Bezug genommen. Darüber hinaus werden folgende wichtige Begriffe dieser KI-Richtlinie wie folgt definiert:

• Künstliche Intelligenz (KI): Unter „Künstlicher Intelligenz“ (KI) verstehen wir Computerprogramme, die ihre Fähigkeiten und Denkprozesse durch sogenanntes „maschinelles Lernen“ kontinuierlich verbessern. Wichtige Eigenschaften der KI umfassen das Lernen durch Datenanalyse, die Mustererkennung, logisches Denken, Selbstkorrektur sowie die Fähigkeit, eigenständig Aufgaben zu erfüllen, Probleme zu lösen und Entscheidungen zu treffen.
• KI-Modell: Als „KI-Modell“ bezeichnet man den Algorithmus, also die durch das Training erschaffene Denkgrundlage eines KI-Systems, die ihre Funktionsweise bestimmt. Einem KI-System liegen ein oder mehrere KI-Modelle zugrunde. Vereinfacht ausgedrückt ist das KI-Modell das dahinterstehende (technische) Herzstück. Während das KI-System die KI „zum Anfassen und Nutzen“ darstellt, ist das KI-Modell die dahinterstehende und für den Nutzer „unsichtbare“ Funktionsweise.
• KI-Modell mit allgemeinem Verwendungszweck (GPAI-Modell): ein KI-Modell, das eine erhebliche allgemeine Verwendbarkeit aufweist und in der Lage ist, unabhängig von der Art und Weise seines Inverkehrbringens ein breites Spektrum unterschiedlicher Aufgaben kompetent zu erfüllen, und das in eine Vielzahl nachgelagerter Systeme oder Anwendungen integriert werden kann (bspw. (sog. Large Language Models (LLMs)), ausgenommen KI-Modelle, die vor ihrem Inverkehrbringen für Forschungs- und Entwicklungstätigkeiten oder die Konzipierung von Prototypen eingesetzt werden (vgl. Art. 3. Nr. 63 KI-Gesetz).
• KI-System: Ein „KI-System“ ist ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können (vgl. Art. 3. Nr. 1 KI-Gesetz). KI-Systeme können verschiedene Formen annehmen, wie zum Beispiel Chatbots, Assistenz- oder Bildgenerierungssysteme.
• KI-Verfahren: Der Begriff „KI-Verfahren“ bezieht sich auf alle internen oder externen Prozesse, bei denen ein KI-System Entscheidungen oder Ergebnisse produziert. Dies umfasst beispielsweise das automatische Beantworten von Anfragen durch Chatbots, die Echtzeitanalyse von Finanzdaten und die Auswertung von Nutzerdaten zu Personalisierungszwecken. KI-Verfahren umfassen eine Vielzahl von Anwendungen, die Technologien wie maschinelles Lernen und natürliche Sprachverarbeitung nutzen, um Prozesse effizienter und intelligenter zu gestalten.
• KI-Ergebnisse: „KI-Ergebnisse“ sind die Resultate, die von einem KI-System erzeugt werden. KI-Ergebnisse können vielfältig sein, und umfassen z. B. Texte, Bilder, Videos, Musik, Daten, Berechnungsergebnisse oder Entscheidungen.
• Deepfake: Als „Deepfakes“ werden KI-generierte oder manipulierte Bild-, Audio- oder Videoinhalte bezeichnet, die existierende Personen, Objekte, Orte, Entitäten oder Ereignisse nachahmen und einem Betrachter fälschlicherweise authentisch oder wahr erscheinen. Es ist nicht notwendig, dass mit Deepfakes eine Täuschungs- oder Irreführungsabsicht verbunden wird. So kann es sich beispielsweise um ein zu Illustrationszwecken fotorealistisch generiertes Bild handeln. Sie müssen sicherstellen, dass ein Deepfake stets als KI-Erzeugnis gekennzeichnet wird.
• Prompt: Ein „Prompt“ ist eine Eingabeaufforderung oder ein Hinweis, den wir einem KI-System geben, um eine spezifische Aufgabe zu starten oder zu leiten. In der Regel handelt es sich dabei um einen Text oder eine Frage, die dem KI-System hilft, die gewünschte Antwort oder Aktion zu generieren. Prompts sind besonders nützlich in Systemen, die natürliche Sprache verarbeiten, wie zum Beispiel Chatbots oder Sprachassistenten.
• Datengrundlage: Als „Datengrundlage“ werden Im Rahmen dieser KI-Richtlinie zusammenfassend Daten bezeichnet, die einer KI zur Verfügung gestellt werden, um je nach spezifischer Anwendung daraus zu lernen, Anfragen zu beantworten oder Ergebnisse zu erzeugen. Diese Datenquellen können Texteingaben (Prompts), Datentabellen, Dokumente, Grafiken und andere Daten- und Informationsarten umfassen.
• Text- und Data-Mining (TDM): „Text- und Data-Mining“ (TDM) bezeichnet den Prozess des automatischen Durchsuchens, Sammelns und Analysierens großer Mengen an Text- und Dateninhalten, um nützliche Informationen zu extrahieren, Muster zu erkennen und Erkenntnisse zu gewinnen. Dabei werden Algorithmen und Technologien eingesetzt, um Muster, Zusammenhänge und Trends in unstrukturierten (z. B. Textdokumenten) und strukturierten Daten (z. B. Datenbanken) zu identifizieren. Durch den Einsatz von TDM können große Datenmengen effizient verarbeitet und durch KI-Systeme nutzbar gemacht werden, was zu verbesserter Entscheidungsfindung und Erkenntnisgewinn führen kann.

Anlage: Grenzen und Risikofaktoren der KI

Diese Anlage zur KI-Richtlinie soll Ihnen helfen, die Grenzen der KI-Fähigkeiten und die Risiken ihres Einsatzes zu verstehen. Die vorgeschlagenen Hinweise sollen Ihnen dabei helfen, mögliche Gefahren zu erkennen und Fehler zu vermeiden:

• Risiken wahrscheinlichkeitsbasierter Ergebnisse: KI-Systeme generieren Inhalte oder treffen Entscheidungen, indem sie statistische Muster in den zugrunde liegenden Daten analysieren und häufig vorkommende Muster reproduzieren. In der Regel entwickeln sie keine neuen Ideen oder Lösungen für reale Herausforderungen, da sie weder reale Objekte noch soziale Beziehungen verstehen. Die Muster stammen aus Trainingsdaten, die oft aus dem Internet bezogen werden, ohne deren Kontext zu verstehen. Folglich können die Ergebnisse eines KI-Systems Fehler oder sogenannte Halluzinationen enthalten, was bedeutet, dass eine Antwort erfunden wird, die als wahrscheinlichste Reaktion auf die gestellte Frage erscheint. Wie hoch dieses Risiko ist, hängt von vielen Faktoren ab, wie den für das Training verwendeten Daten, dem technischen Reifegrad und der Bedienung des KI-Systems.
• Einschränkungen der Wissensbasis und der Daten: Bitte beachten Sie, dass ein KI-System oder KI-Modell möglicherweise nicht über aktuelles Wissen verfügt und auf falschen Daten trainiert worden sein könnte. Darüber hinaus könnten relevante Erkenntnisse, Ereignisse, Daten und Informationen für die gestellten Anfragen im KI-System noch nicht berücksichtigt worden sein.
• Limitierter Kontext: KI-Systeme können den größeren Kontext einer Aufgabe oder Anfrage oft nicht vollständig begreifen. Dies kann zu unpassenden oder unvollständigen Antworten führen.
• Fehlinterpretation durch Nutzer: Bewahren Sie eine kritische Haltung gegenüber den Ergebnissen von KI-Systemen und validieren Sie diese durch menschliche Expertise, um Überinterpretationen oder Missverständnisse zu vermeiden.
• Vorurteile und Voreingenommenheit: KI-Systeme können bestehende Vorurteile aus der Datengrundlage übernehmen und verstärken. Dies kann zu Diskriminierung oder ungleicher Behandlung führen. Hinterfragen Sie immer kritisch, ob die Ergebnisse potenziell voreingenommen sein könnten.
• Transparenzprobleme: Beim Einsatz von Künstlicher Intelligenz (KI) können Transparenzprobleme auftreten. Oftmals sind die Entscheidungen von KI-Modellen schwer nachvollziehbar, was besonders kritisch ist, wenn die KI auf verzerrten oder falschen Daten basiert und dadurch ungerechte oder falsche Entscheidungen verstärken kann. Die Komplexität vieler KI-Modelle erschwert es zusätzlich, ihre Funktionsweise vollständig zu verstehen und zu erklären. Darüber hinaus fehlen häufig klare Standards und Regelungen, die festlegen, wie und in welchem Umfang die Entscheidungsprozesse von KI-Systemen offengelegt werden müssen.
• Risiken für Daten bei fremden KI-Systemen: Bei vielen, vor allem kostenlos verfügbaren, KI-Systemen sind der Speicherort und die Verwertung der Daten noch nicht ausreichend transparent. Dies birgt das Risiko, dass wichtige Daten in falsche Hände geraten könnten.
• Ungewollte Datennutzung und KI-Training: Viele, insbesondere kostenlose KI-Dienste, finanzieren sich durch die Nutzung von Benutzerdaten zu Werbezwecken oder den Verkauf dieser Daten an Dritte. Dies kann die Privatsphäre der Nutzer gefährden und sensible Informationen offenlegen. Ferner können KI-Systeme Nutzerdaten speichern, um ihre Modelle zu trainieren und zu verbessern, was bedeutet, dass z. B. personenbezogene Daten oder Geschäftsgeheimnisse dauerhaft Eingang in das KI-System finden und wiedergegeben werden können.
• Datensicherheit und Cybersicherheit: Die Sicherheit von KI-Systemen und der von ihnen verarbeiteten Daten hängt maßgeblich von den implementierten Schutzmaßnahmen des Dienstanbieters sowie vom Ort der Datenverarbeitung ab. Dazu gehören Verschlüsselung während der Übertragung und Speicherung, Zugriffskontrollen und regelmäßige Sicherheitsüberprüfungen. Insbesondere bei kostenlosen Diensten könnten diese Maßnahmen weniger streng sein. Zudem besteht die Möglichkeit, dass die eingegebenen Daten in Ländern außerhalb der EU bzw. des EWR verarbeitet werden, deren Datenschutzniveau nicht dem der EU entspricht.

Anlage: Verbotene KI-Praktiken

Die KI-VO verbietet ausdrücklich den Einsatz bestimmter KI-Praktiken (Artikel 5 KI-VO). In Übereinstimmung damit untersagen wir die Nutzung dieser Praktiken, insbesondere der im Folgenden genannten Arten des Einsatzes von KI:

• Unterschwellige oder manipulative Beeinflussung (Art. 5 lit. a) KI-VO): KI-Systeme, die Techniken der unterschwelligen Beeinflussung außerhalb des Bewusstseins einer Person oder absichtlich manipulative oder täuschende Techniken mit dem Ziel oder der Wirkung einsetzen, das Verhalten einer Person oder einer Gruppe von Personen wesentlich zu verändern, indem ihre Fähigkeit, eine fundierte Entscheidung zu treffen, deutlich beeinträchtigt werden, wodurch die Person veranlasst wird, eine Entscheidung zu treffen, die sie andernfalls nicht getroffen hätte, und zwar in einer Weise, die dieser Person, einer anderen Person oder einer Gruppe von Personen erheblichen Schaden zufügt oder mit hinreichender Wahrscheinlichkeit zufügen wird, sind untersagt.
• Ausnutzung von Schwächen oder Schutzbedürftigkeit (Art. 5 Abs. 1 lit. b) KI-VO): KI-Systeme, die eine Vulnerabilität oder Schutzbedürftigkeit einer natürlichen Person oder einer bestimmten Gruppe von Personen aufgrund ihres Alters, einer Behinderung oder einer bestimmten sozialen oder wirtschaftlichen Situation mit dem Ziel oder der Wirkung ausnutzen, das Verhalten dieser Person oder einer dieser Gruppe angehörenden Person in einer Weise wesentlich zu verändern, die dieser Person oder einer anderen Person erheblichen Schaden zufügt oder mit hinreichender Wahrscheinlichkeit zufügen wird, sind untersagt.
• Soziale Bewertung (Social Scoring) (Art. 5 Abs. 1 lit. c) KI-VO): KI-Systeme zur Bewertung oder Einstufung von natürlichen Personen oder Gruppen von Personen über einen bestimmten Zeitraum auf der Grundlage ihres sozialen Verhaltens oder bekannter, abgeleiteter oder vorhergesagter persönlicher Eigenschaften oder Persönlichkeitsmerkmale, wobei die soziale Bewertung zu einem oder beiden der folgenden Ergebnisse führt: (i) Schlechterstellung oder Benachteiligung bestimmter natürlicher Personen oder Gruppen von Personen in sozialen Zusammenhängen, die in keinem Zusammenhang zu den Umständen stehen, unter denen die Daten ursprünglich erzeugt oder erhoben wurden; (ii) Schlechterstellung oder Benachteiligung bestimmter natürlicher Personen oder Gruppen von Personen in einer Weise, die im Hinblick auf ihr soziales Verhalten oder dessen Tragweite ungerechtfertigt oder unverhältnismäßig ist, sind untersagt.
• Vorhersage von Straftaten (Predictive Policing) (Art. 5 Abs. 1 lit. d) KI-VO): KI-Systeme zur Durchführung von Risikobewertungen in Bezug auf Personen, um das Risiko, dass eine Person eine Straftat begeht, ausschließlich auf der Grundlage des Profiling einer Person oder der Bewertung ihrer persönlichen Merkmale und Eigenschaften zu bewerten oder vorherzusagen; dieses Verbot gilt nicht für KI-Systeme, die dazu verwendet werden, die durch Menschen durchgeführte Bewertung der Beteiligung einer Person an einer kriminellen Aktivität, die sich bereits auf objektive und überprüfbare Tatsachen stützt, die in unmittelbarem Zusammenhang mit einer kriminellen Aktivität stehen, zu unterstützen, sind untersagt.
• Erstellen und Erweitern von Gesichtserkennungsdatenbanken (Art. 5 Abs. 1 lit. e) KI-VO): Der Einsatz von KI-Systemen, die Datenbanken zur Gesichtserkennung durch das ungezielte Auslesen von Gesichtsbildern aus dem Internet oder von Überwachungsaufnahmen erstellen oder erweitern, sind untersagt.
• Emotionserkennung am Arbeitsplatz (Art. 5 Abs. 1 lit. f) KI-VO): Das Inverkehrbringen, die Inbetriebnahme oder die Verwendung von KI-Systemen zur Ableitung von Emotionen einer natürlichen Person am Arbeitsplatz ist untersagt. Die Ausnahme der Verwendung des KI-Systems aus medizinischen Gründen oder Sicherheitsgründen bedarf einer expliziten Erlaubnis.
• Emotionserkennung im Seminarbetrieb (Art. 5 Abs. 1 lit. f) KI-VO): Das Inverkehrbringen, die Inbetriebnahme oder die Verwendung von KI-Systemen zur Ableitung von Emotionen einer natürlichen Person in Bildungseinrichtungen ist untersagt. Die Ausnahme der Verwendung des KI-Systems aus medizinischen Gründen oder Sicherheitsgründen bedarf einer expliziten Erlaubnis.
• Biometrische Kategorisierung ((Art. 5 Abs. 1 lit. f) KI-VO): KI-Systeme, zur biometrischen Kategorisierung, mit denen natürliche Personen individuell auf der Grundlage ihrer biometrischen Daten kategorisiert werden, um ihre ethnische Herkunft, ihre politischen Einstellungen, ihre Gewerkschaftszugehörigkeit, ihre religiösen oder weltanschaulichen Überzeugungen, ihr Sexualleben oder ihre sexuelle Ausrichtung zu erschließen oder abzuleiten; dieses Verbot gilt nicht für die Kennzeichnung oder Filterung rechtmäßig erworbener biometrischer Datensätze, wie z. B. Bilder auf der Grundlage biometrischer Daten oder die Kategorisierung biometrischer Daten im Bereich der Strafverfolgung, sind untersagt. „Biometrische Daten“ sind mit speziellen technischen Verfahren gewonnene personenbezogene Daten zu den physischen, physiologischen oder verhaltenstypischen Merkmalen einer natürlichen Person, die die eindeutige Identifizierung dieser natürlichen Person ermöglichen oder bestätigen, wie Gesichtsbilder oder daktyloskopische Daten, sind untersagt.

Anlage: Hochrisiko-KI-Systeme

Die KI-Verordnung stuft bestimmte Arten von KI-Systemen wegen der von ihnen ausgehenden Gefahren als Hochrisiko-KI-Systeme ein. Dies hat zur Folge, dass vor deren Inbetriebnahme bestimmte Pflichten zu beachten sind (Artikel 6 KI-VO). Zu diesen Hochrisiko-KI-Systemen gehören insbesondere die im Folgenden genannten Arten von KI-Systemen, deren Einsatz nur unter strengen Voraussetzungen möglich ist und eine vorherige Information der ML Gruppe voraussetzt:

• Biometrischer Systeme: KI-Systeme, die biometrische Daten wie Gesichts- und Emotionserkennung nutzen, sofern es nicht lediglich um die Identifizierung und Authentifizierung einer bestimmten Person geht (bspw. Identitätsbestätigung, um ein Gerät zu entriegeln oder Zugang zu Räumlichkeiten zu erhalten).
• KI-gestützte Vorauswahl von Bewerbungen: Verwendung von KI zur Vorauswahl und Bewertung von Bewerbungen bei der Einstellung und im Personalmanagement. Beispielsweise wenn solche Systeme Lebensläufe und berufliche Qualifikationen von Bewerbern für bestimmte Stellen prüfen und systematisieren.
• Einstellung, Beförderung und Kündigung von Arbeitsverhältnissen: KI-Systeme zur Unterstützung von Entscheidungen über die Begründung und Durchführung von Arbeitsverhältnissen, einschließlich Einstellung, Beförderung und Kündigung.
• Zulassung und Bewertung von Personen in Bildungseinrichtungen: Einsatz von KI zur Feststellung des Zugangs oder der Zulassung natürlicher Personen zu Bildungseinrichtungen. Dabei ist uns bewusst, dass der Einsatz von KI-Systemen zu Bildungszwecken für eine dem digitalen Fortschritt gerecht werdende Förderung von wesentlicher Bedeutung ist. Zugleich kann der Einsatz von KI-Systemen im Bildungsbereich zu unsachgemäßen Entscheidungen führen. Es ist daher besonders risikobehaftet.
• Automatisierte Bewertung von Prüfungen: KI-Systeme zur automatisierten Bewertung von Prüfungen und Tests in Bildungseinrichtungen.
• Überwachung bei Prüfungen: KI-Systeme, die zur Überwachung und Erkennung von verbotenen Verhalten von Schülern bei Prüfungen eingesetzt werden.