ISO 42001: Wie KI-Governance Unternehmen sicherer macht
Jaber Kakar, Bereichsleiter Informationssicherheit
28. September 2026
KI verschickt Phishing-Mails, greift auf fremde Systeme zu oder schleust Schwachstellen in Software ein. Was nach einem Worst-Case-Szenario klingt, ist bei Tests leistungsfähiger KI-Modelle bereits passiert.
Wie können ISO 42001, EU AI Act und ISO 27001 Unternehmen dabei helfen, eine wirksame KI-Governance aufzubauen? Dieser Beitrag zeigt, wie sich KI-Nutzung, Informationssicherheit, Verantwortlichkeiten und Kompetenzaufbau verbinden lassen, um Risiken wie Schatten IT, Datenlecks und unkontrollierte Zugriffe beherrschbar zu machen.
In diesem Beitrag:
Kurz zusammengefasst: ISO 42001 und KI-Governance im Unternehmen
- Je selbstständiger KI-Systeme handeln, desto wichtiger sind klare Regeln dafür, was sie dürfen und worauf sie zugreifen können.
- ISO 42001 hilft Unternehmen, Verantwortlichkeiten, Prozesse sowie Risiken und Chancen beim Einsatz von KI systematisch zu steuern.
- ISO 27001 und EU AI Act ergänzen die KI-Governance um Informationssicherheit und verbindliche regulatorische Anforderungen.
- KI-Inventar, Datenklassifikation, Guardrails, Freigabeprozesse und klare Verantwortlichkeiten gehören zu den zentralen Bausteinen einer wirksamen KI-Governance.
- AI Literacy wird zum Sicherheitsfaktor: Mitarbeitende müssen die Möglichkeiten, Grenzen und Risiken der eingesetzten KI verstehen.
- Gerade für Defence-nahe Unternehmen geht es nicht darum, KI zu verhindern, sondern sie kontrolliert und sicher nutzbar zu machen.
Künstliche Intelligenz soll Prozesse beschleunigen, Entscheidungen unterstützen und Mitarbeitende entlasten. Doch je leistungsfähiger und autonomer KI-Systeme werden, desto wichtiger wird die Frage, was sie dürfen, worauf sie zugreifen können und wer dafür verantwortlich ist.
KI-Sicherheit lässt sich deshalb nicht allein technisch lösen. KI-Nutzung, Informationssicherheit, Verantwortlichkeiten und Kompetenzaufbau müssen zusammengedacht werden. Genau hier setzt KI-Governance an: Die ISO/IEC 42001 schafft dafür einen internationalen Managementsystemstandard speziell für künstliche Intelligenz. Zusammen mit der ISO 27001 und den Anforderungen des EU AI Act bietet sie Unternehmen einen Rahmen, um KI kontrolliert und zugleich produktiv einzusetzen.
Für Defence-nahe Unternehmen ist das besonders relevant: Wo eingestufte oder exportkontrollierte Informationen verarbeitet werden, kann ein falsch berechtigter KI-Agent oder ein ungeprüftes Schatten-IT-Tool sicherheitspolitische Folgen haben. Gleichzeitig kann es sich die Branche nicht leisten, auf KI zu verzichten.
Wenn KI plötzlich selbst zum Sicherheitsrisiko wird
Wie real die Risiken leistungsfähiger KI-Systeme bereits sind, zeigen im Sommer 2026 mehrere Vorfälle aus Cybersecurity-Tests.
- Beim britischen AI Security Institute (AISI) führten KI-Agenten während Sicherheitstests nicht autorisierte Aktionen im realen Internet aus. Unter anderem versuchte ein Agent, Schadcode in ein Open-Source-Projekt einzuschleusen und einen Maintainer mithilfe falscher Identitäten zur Freigabe zu bewegen. Der Internetzugang war für die Tests bewusst freigegeben worden.
- Bei Anthropic lag der Fall anders: Claude-Modelle sollten in einer abgeschotteten Testumgebung arbeiten, erhielten durch eine Fehlkonfiguration jedoch Zugang zum offenen Internet. In mehreren Fällen kam es dadurch zu unautorisierten Zugriffen auf reale Drittsysteme.
- Ein ähnlicher Konfigurationsfehler trat bei einem Sicherheitstest von Metas Muse Spark 1.1 auf. Das Modell erhielt unbeabsichtigt Internetzugang und eine reale Website als Ziel. Es identifizierte dort eine Sicherheitslücke, nutzte sie aus und nahm Änderungen an der Datenbank vor.
Die Fälle sind nicht gleichzusetzen und entstanden unter unterschiedlichen Testbedingungen. Gemeinsam ist ihnen jedoch ein entscheidender Punkt: Leistungsfähige KI traf auf reale Zugriffsmöglichkeiten.
Je mehr ein KI-System selbstständig handeln kann, desto wichtiger werden deshalb grundlegende Governance-Fragen:
Nicht nur: Was kann unsere KI? Sondern: Was darf unsere KI?
Was die aktuellen Vorfälle für Unternehmen bedeuten
Die Beispiele zeigen hauptsächlich eines: Entscheidend ist nicht nur, wie leistungsfähig eine KI ist, sondern unter welchen Rahmenbedingungen sie eingesetzt wird und wie die Testumgebung konfiguriert ist.
Darf ein KI-System auf das Internet zugreifen? Kann es an interne Daten, Anwendungen oder E-Mail-Postfächer herankommen? Darf es Code ausführen oder eigenständig Aktionen auslösen? Und an welcher Stelle ist eine menschliche Freigabe erforderlich?
Mit jeder zusätzlichen Berechtigung wächst das potenzielle Schadensausmaß und damit die Bedeutung wirksamer Kontrollen. Das gilt besonders für KI-Agenten, die nicht nur Inhalte erzeugen, sondern Aufgaben selbstständig planen und ausführen können.
Für Unternehmen wird es deshalb immer wichtiger, klare Leitplanken für den Einsatz von KI festzulegen. Dazu gehören beispielsweise:
- definierte Zugriffs- und Berechtigungskonzepte,
- klare Regeln für erlaubte Daten und Anwendungen,
- technische Guardrails und Freigabeprozesse,
- Human-in-the-loop bei kritischen Entscheidungen und
- eindeutig geregelte Verantwortlichkeiten.
Das betrifft nicht nur offiziell eingeführte KI‑Systeme. Mitarbeitende nutzen längst eigenständig Chatbots, KI-Assistenten oder andere KI‑Tools. Geschieht dies ohne Freigabe und ohne Wissen von IT und Informationssicherheit, entsteht Schatten-IT.
Sensible Unternehmensdaten können dabei in Systeme gelangen, deren Nutzung, Datenverarbeitung oder Sicherheitsmechanismen das Unternehmen nicht ausreichend geprüft hat.
Nicht jedes unbekannte Tool ist automatisch gefährlich. Doch darf keine Grauzone entstehen. KI-Governance bedeutet deshalb nicht, möglichst viele KI-Anwendungen zu verbieten. Es geht darum, zu wissen, welche KI im Unternehmen eingesetzt wird, welche Risiken damit verbunden sind und welche Regeln für ihre Nutzung gelten.
Genau dafür braucht es Strukturen, die über einzelne technische Sicherheitsmaßnahmen hinausgehen. ISO 42001, ISO 27001 und der EU AI Act setzen an unterschiedlichen Stellen an – und können sich dabei sinnvoll ergänzen.
Wie ISO 42001, ISO 27001 und EU AI Act zusammenspielen
KI sicher und regelkonform einzusetzen, erfordert mehr als technische Schutzmaßnahmen. Unternehmen müssen KI-Risiken steuern, sensible Informationen schützen und gesetzliche Vorgaben einhalten. Genau hier ergänzen sich ISO 42001, ISO 27001 und EU AI Act: Die drei Regelwerke bedeuten nicht zwangsläufig drei getrennte Systeme. Sie betrachten unterschiedliche Aspekte der KI-Nutzung, lassen sich in der Praxis aber sinnvoll miteinander verbinden.
Ein AI Management System (AIMS) macht KI damit von einer Sammlung einzelner Projekte zu einer systematisch gesteuerten Managementaufgabe.
ISO 42001 und ISO 27001: KI-Governance trifft Informationssicherheit
Wer bereits mit einem Informationssicherheits-Managementsystem nach ISO 27001 arbeitet, muss beim Aufbau einer KI-Governance nicht bei null anfangen.
Beide Managementsysteme haben Berührungspunkte: Risikomanagement, Verantwortlichkeiten, dokumentierte Prozesse, Kontrollen, kontinuierliche Verbesserung und der Umgang mit externen Dienstleistern spielen eine wichtige Rolle.
Die Perspektive ist jedoch eine andere.
ISO 27001 konzentriert sich auf Informationssicherheit. ISO 42001 erweitert den Blick auf KI-spezifische Risiken und Fragen.
Denn hier kommen neue Fragen hinzu: Welche KI-Systeme werden überhaupt eingesetzt? Für welchen Zweck und mit welchen Daten? Welche Risiken entstehen durch Modelle, Anbieter oder autonome Funktionen? Und wann muss ein Mensch eingreifen?
So lassen sich Informationssicherheit und KI-Governance miteinander verzahnen, statt parallele Prozesse aufzubauen. Das erleichtert Unternehmen nicht nur die praktische Umsetzung, sondern hilft auch dabei, KI-Risiken in bestehende Management- und Sicherheitsprozesse zu integrieren.
ISO 42001 und EU AI Act: Managementsystem trifft Regulierung
Auch ISO 42001 und EU AI Act ergänzen sich, erfüllen aber unterschiedliche Aufgaben. Der EU AI Act ist geltendes Recht. Er legt abhängig von Rolle, System und Risikokategorie konkrete regulatorische Anforderungen fest.
Die ISO 42001 ist dagegen ein freiwilliger internationaler Managementsystemstandard. Sie unterstützt dabei, KI mit klaren Verantwortlichkeiten, geregelten Prozessen und einem systematischen Risikomanagement zu steuern.
Der Vorteil: Anforderungen an KI müssen nicht für jeden Anwendungsfall immer wieder neu organisiert werden. Unternehmen können Prozesse etablieren, mit denen sie KI-Systeme erfassen, Risiken bewerten, Verantwortlichkeiten festlegen und Maßnahmen regelmäßig überprüfen.
Die ISO 42001 kann damit die organisatorische Umsetzung einer verantwortungsvollen und regelkonformen KI-Nutzung unterstützen. Sie ersetzt jedoch weder die Anforderungen des EU AI Act noch den Nachweis ihrer Erfüllung.
Für die Praxis heißt das: Regulierung formuliert Pflichten, ein Managementsystem hilft dabei, Verantwortlichkeiten, Prozesse und Kontrollen im Unternehmen dauerhaft zu organisieren.
Die zentralen Bausteine einer wirksamen KI-Governance
KI-Governance beginnt nicht mit einer Richtlinie. Am Anfang steht eine scheinbar einfache Frage: Welche KI haben wir überhaupt im Unternehmen?
KI steckt nicht mehr nur in offensichtlichen Anwendungen wie Chatbots. Sie wird in bestehende Software integriert, über APIs angebunden oder als Agent eingesetzt, der mit weiteren Anwendungen und Datenquellen interagiert. Unternehmen müssen wissen, welche KI sie einsetzen, wofür sie genutzt wird und welche Risiken damit verbunden sind.
Darauf aufbauend lassen sich klare Regeln für einen sicheren und verantwortungsvollen Einsatz festlegen.
Zu den wichtigsten Bausteinen gehören:
| Governance-Baustein | Zentrale Frage |
|---|---|
| KI-Inventar | Welche KI-Systeme, Modelle und KI-gestützten Anwendungen werden eingesetzt – und wofür? |
| Datenklassifikation | Welche Daten darf welches KI-System verarbeiten? Was gilt für vertrauliche, personenbezogene oder klassifizierte Informationen? |
| Guardrails und Zugriffskontrollen | Hat das System Internetzugang? Welche Daten, Anwendungen, APIs und Tools kann es nutzen? |
| Freigabeprozesse | Wer entscheidet, ob eine neue KI-Anwendung eingesetzt werden darf? |
| Automatisierungsgrad | Darf die KI lediglich Informationen liefern oder selbstständig Aktionen ausführen? Wann ist Human-in-the-loop erforderlich? |
| KI-Lieferantenbewertung | Welche Sicherheits-, Datenschutz- und Governance-Anforderungen erfüllt ein externer KI-Anbieter? |
| Rollen und Verantwortlichkeiten | Wer genehmigt, überwacht und dokumentiert die KI-Nutzung? Wer handelt bei einem Sicherheitsvorfall? |
| Risikobewertung | Welche Schäden könnte das System verursachen und wie stehen Risiken und erwarteter Nutzen zueinander? |
| AI Literacy | Verstehen die beteiligten Mitarbeitenden die Möglichkeiten, Grenzen und Risiken des Systems ausreichend für ihre jeweilige Aufgabe? |
Gute KI-Governance schafft einen verlässlichen Rahmen, in dem Unternehmen die Chancen von KI nutzen können, ohne Risiken aus dem Blick zu verlieren.
Dabei wird deutlich: Governance ist keine Aufgabe einer einzelnen Abteilung.
IT und Informationssicherheit müssen technische Zugriffe absichern. Fachbereiche müssen Nutzungsszenarien und fachliche Risiken beurteilen. Compliance und gegebenenfalls Rechtsabteilungen bewerten regulatorische Anforderungen. Führungskräfte müssen Verantwortlichkeiten schaffen.
Und die Menschen, die mit den Systemen arbeiten, müssen verstehen, was sie tun.
AI Literacy: Sichere KI beginnt mit Kompetenz
Die besten Regeln helfen wenig, wenn Mitarbeitende nicht wissen, warum sie wichtig sind. Wer vertrauliche Daten in ein nicht freigegebenes KI-Tool eingibt, KI-Antworten ungeprüft übernimmt oder einem KI-Agenten zu weitreichende Berechtigungen erteilt, kann Sicherheitsrisiken schaffen – auch ohne böse Absicht.
Genau hier setzt AI Literacy, also KI-Kompetenz, an. Mitarbeitende müssen nicht zu KI-Experten werden. Sie sollten aber die Risiken der eingesetzten Systeme verstehen und wissen, wie sie KI in ihrem jeweiligen Aufgabenbereich sicher und verantwortungsvoll nutzen.
Dazu gehört beispielsweise:
- zu erkennen, welche Daten in ein KI-System eingegeben werden dürfen,
- Ergebnisse kritisch zu prüfen und mögliche Fehler oder Halluzinationen zu erkennen,
- Risiken durch automatisierte Aktionen und weitreichende Zugriffsrechte einzuschätzen,
- interne Regeln und Freigabeprozesse zu kennen und
- zu wissen, wann menschliche Kontrolle oder Rücksprache erforderlich ist.
AI Literacy ist damit ein wichtiger Teil der KI-Governance – und inzwischen auch regulatorisch relevant. Artikel 4 des EU AI Act verpflichtet Anbieter und Betreiber von KI-Systemen dazu, Maßnahmen zur Entwicklung der KI-Kompetenz ihrer Mitarbeitenden und weiterer Personen zu ergreifen, die in ihrem Auftrag mit KI-Systemen arbeiten. Dabei sind unter anderem technisches Wissen, Erfahrung, Ausbildung und Training sowie der konkrete Einsatzkontext zu berücksichtigen.
Für Unternehmen bedeutet das: Eine identische KI-Schulung für alle greift zu kurz. Entscheidend ist ein rollenbezogener Kompetenzaufbau. Beschäftigte, die generative KI für Texte oder Recherchen einsetzen, benötigen anderes Wissen als Entwickler, Administratoren, Führungskräfte oder Mitarbeitende, die mit sensiblen Daten und sicherheitskritischen Systemen arbeiten.
Beim gezielten und praxisnahen Aufbau dieser Kompetenzen unterstützen die Schulungen der ML Gruppe zum EU AI Act und zur sicheren Nutzung von KI.
Gerade in Defence-nahen Unternehmen wird AI Literacy damit selbst zu einer Sicherheitsmaßnahme: Wer die Möglichkeiten und Grenzen von KI versteht, kann Risiken früher erkennen und verantwortungsvoller handeln.
Warum KI-Governance für Defence-nahe Unternehmen besonders wichtig ist
Für Defence-nahe Unternehmen entsteht beim Einsatz von KI ein besonderes Spannungsfeld: Einerseits sind Entwicklungs-, Projekt-, Kunden- und Lieferantendaten häufig besonders sensibel. Komplexe Software-Lieferketten, externe Dienstleister und Dual-Use-Komponenten erhöhen zusätzlich die Zahl der Schnittstellen, an denen Informationen geschützt werden müssen.
Auf der anderen Seite kann es sich die Branche kaum leisten, auf KI zu verzichten.
Das zeigt sich bereits heute in möglichen Einsatzfeldern. KI kann beispielsweise große Datenmengen für Lagebilder auswerten, bei Entscheidungen unterstützen, Anomalien erkennen oder in autonomen und robotischen Systemen zum Einsatz kommen. Das Deutsche Forschungszentrum für Künstliche Intelligenz (DFKI) beschäftigt sich im Kompetenzzentrum Defence AI gezielt mit solchen Anwendungen. Kontrollierbarkeit, Robustheit, Zuverlässigkeit und Erklärbarkeit gehören dabei zu den zentralen Anforderungen an vertrauenswürdige KI-Systeme.
Die Konsequenz für sicherheitskritische Unternehmen kann deshalb nicht lauten: KI möglichst verhindern. Sie muss lauten: KI kontrolliert ermöglichen.
Entscheidend ist, KI dort nutzbar zu machen, wo sie einen echten Mehrwert bietet – und gleichzeitig klare Grenzen für Daten, Zugriffe und autonome Aktionen zu setzen.
Gerade in einem sicherheitskritischen Umfeld wird KI-Governance damit zum Bindeglied zwischen Innovation und Sicherheit. Ein systematischer Ansatz hilft Unternehmen dabei, neue KI-Anwendungen nicht nur nach ihrer Leistungsfähigkeit zu beurteilen, sondern von Anfang an auch Informationsschutz, Risiken, Verantwortlichkeiten und menschliche Kontrolle mitzudenken.
Was NIS2 und BSIG mit KI-Governance zu tun haben
Für Unternehmen, die in den Anwendungsbereich von NIS2 beziehungsweise des deutschen BSI-Gesetzes (BSIG) fallen, kommt eine weitere Perspektive hinzu. § 30 BSIG verlangt von wichtigen und besonders wichtigen Einrichtungen geeignete technische und organisatorische Maßnahmen zum Schutz ihrer IT-Systeme, Komponenten und Prozesse.
Dazu gehören unter anderem Risikoanalysen, Lieferkettensicherheit, Zugriffskontrollen, der sichere Umgang mit IKT-Systemen sowie Schulungs- und Sensibilisierungsmaßnahmen. Werden KI-Systeme in solche Prozesse und Systeme integriert, sollten ihre spezifischen Risiken deshalb auch im bestehenden Cybersecurity-Risikomanagement berücksichtigt werden.
Das macht die Verbindung zur KI-Governance deutlich: KI ist kein isoliertes Technologiethema. Sie muss in bestehende Prozesse für Informationssicherheit, Risikomanagement und Compliance eingebunden werden.
Wichtig für Defence-nahe Unternehmen: Die Zugehörigkeit zur Defence-Branche allein bedeutet nicht automatisch, dass ein Unternehmen unter die entsprechenden NIS2-/BSIG-Pflichten fällt. Ob und welche Anforderungen gelten, muss anhand der konkreten Tätigkeit und Einordnung des Unternehmens geprüft werden.
Mehr dazu erfahren Sie im ML-Magazin-Beitrag „Sabotage, Cyberangriffe, hybride Bedrohungen: Warum NIS2 ohne Schulungen scheitert.„
Sichere KI benötigt Technik, Regeln und Menschen, die sie verstehen
KI wird immer stärker in Geschäftsprozesse integriert und handelt zunehmend selbstständig. Mit den wachsenden Möglichkeiten steigen die Anforderungen an einen sicheren und verantwortungsvollen Einsatz.
Denn eine zentrale Erkenntnis aus den aktuellen KI-Sicherheitsvorfällen lautet: Je mehr eine KI selbstständig tun kann, desto wichtiger ist es, vorher festzulegen, was sie tun darf. KI sicher einzusetzen heißt deshalb, Technik, Prozesse und Menschen zusammenzudenken.
Gerade für Defence-nahe Unternehmen kann die Antwort deshalb nicht lauten, KI möglichst aus kritischen Bereichen herauszuhalten und Innovation auszubremsen. Vielmehr geht es darum, KI kontrolliert zu nutzen.
ISO 42001 liefert dafür einen systematischen Managementansatz. Zusammen mit ISO 27001, den Anforderungen des EU AI Act und bestehenden Cybersecurity-Prozessen hilft sie Unternehmen, KI-Risiken nicht isoliert zu betrachten. Organisationen und ihre Mitarbeitenden müssen wissen: Welche Systeme setzen wir ein? Welche Daten und Zugriffsrechte erhalten sie? Wo benötigen wir menschliche Kontrolle? Wer trägt Verantwortung? Und verfügen die beteiligten Mitarbeitenden über die notwendige KI-Kompetenz
Damit wird deutlich: KI-Governance ist eine Managementaufgabe. Das zeigt sich auch an anderer Stelle in der Regulierung. Für Unternehmen, die unter die entsprechenden Vorgaben des BSIG fallen, verpflichtet § 38 die Geschäftsleitung, Risikomanagementmaßnahmen umzusetzen und zu überwachen. Geschäftsleitungen müssen zudem regelmäßig an Schulungen teilnehmen.
„Wer KI nur unter dem Blickwinkel des Risikos betrachtet, wird ihre Möglichkeiten nicht ausschöpfen. Wer nur auf ihre Möglichkeiten schaut, unterschätzt ihre Risiken. Gute KI-Governance bringt beides zusammen: Sie schafft die Sicherheit, die Unternehmen brauchen, um KI überhaupt mutig und sinnvoll einsetzen zu können.“- Jaber Kakar, Bereichsleiter Informationssicherheit
KI-Governance sollte deshalb nicht als zusätzliche Hürde für Innovation verstanden werden. Richtig umgesetzt schafft sie die Voraussetzungen dafür, KI dort einzusetzen, wo sie echten Mehrwert bietet – ohne Sicherheit, Compliance und Kontrolle aus dem Blick zu verlieren.
KI-Kompetenz gezielt aufbauen
Die ML Gruppe unterstützt Unternehmen dabei, die dafür notwendigen Kompetenzen gezielt aufzubauen und Anforderungen aus EU AI Act, AI Literacy und Informationssicherheit in wirksame Qualifizierungskonzepte zu übersetzen.