KI außer Kontrolle? Warum der Mensch unersetzlich bleibt

Ohne menschliche Kontrolle kann künstliche Intelligenz große Schäden anrichten. Das zeigen die bekannt gewordenen KI-Pannen in den zurückliegenden Monaten. Wie Unternehmen sich dagegen schützen können, beschreibt unser Autor Dr. Jens-Uwe Meyer in seinem neuen Buch.

Das Buch zum Thema

SO 42001 - KI- Managementsysteme Einführung und Zertifizierung: Das Praxisbuch für künstliche Intelligenz im Unternehmen. Praxisnah. Einfach. Unbürokratisch.
» Mehr Infos & kaufen

Wir haben reale KI-Pannen von Unternehmen untersucht und ein Muster dahinter entdeckt. Die Analyse ergab: Die spektakulärsten Fälle lassen sich auf wenige, immer wiederkehrende Fehler zurückführen. Die Schlussfolgerung: Es gibt keine KI-Pannen. Es gibt nur falsches KI-Management.

Muster 1: KI-Ergebnisse werden nicht ausreichend kontrolliert

Generative KI hat eine unangenehme Eigenschaft: Sie kann überzeugend Unsinn erzählen. Dieses Problem ist inzwischen allgemein bekannt. Trotzdem gelangen falsche KI-Ergebnisse weiterhin oft ungeprüft in Berichte, Schriftsätze, die Kundenkommunikation und andere geschäftskritische Prozesse.

So musste zum Beispiel die renommierte Wirtschaftsprüfungsgesellschaft KPMG einen Bericht über den KI-Einsatz in Unternehmen zurückziehen, nachdem mehrere darin genannte Organisationen in ihm enthaltenen Darstellungen vehement widersprochen hatten. Und das Beratungsunternehmen Deloitte musste einen für das australische Arbeitsministerium erstellten Bericht überarbeiten, der unter anderem nicht existente Quellen und erfundene Gerichtszitate enthielt. Nur zwei Beispiele von vielen. Die Gemeinsamkeit all dieser Fälle ist: Nicht das Halluzinieren der KI ist das eigentliche Problem. Entscheidend ist, dass das Ergebnis anschließend einen menschlichen Prüf- und Freigabeprozess passiert hat – ohne dass die Halluzinationen erkannt wurden.

Das Problem lässt sich mit einem einfachen Gedankenexperiment veranschaulichen: Stellen Sie sich einen Copiloten vor, der in neun von zehn Fällen die Landebahn perfekt trifft – doch beim zehnten Anflug so weit danebenliegt, dass es beinahe zu einem Unfall kommt.

Keine Fluggesellschaft würde einen solchen Copiloten allein unbeaufsichtigt fliegen lassen, nur weil er zumeist richtig liegt. Bei der KI geschieht jedoch genau das häufig – obwohl KI zwar ein hervorragender Assistent ist, aber kein Ersatz für kritisches Denken, fachliche Prüfung und menschliche Verantwortung.

Muster 2: Die KI bekommt zu viele Freiheiten

Mit KI-Agenten entsteht eine zweite Risikokategorie. Moderne KI erzeugt nicht mehr nur Texte oder Bilder. Sie kann zunehmend selbstständig handeln: Datenbanken bearbeiten, Programme bedienen, Dateien verändern, E-Mails versenden oder ganze Prozessschritte ausführen. Damit verschiebt sich die Managementfrage. Es reicht nicht mehr aus, zu fragen: Welche Antworten darf unsere KI geben? Unternehmen müssen sich fragen: Was darf sie tatsächlich tun?

Wie schnell ansonsten Probleme entstehen, zeigt der Fall des Softwareunternehmens PocketOS aus dem Jahr 2026. Ein KI-Assistent sollte dort bei einer Aufgabe in einer Testumgebung helfen. Als ein Problem auftrat, suchte die KI selbstständig nach einer Lösung. Hierbei nutzte sie Zugangsdaten, die ihr weitreichendere Eingriffe ermöglichten, und löschte versehentlich die produktiv genutzte Datenbank – einschließlich der dort gespeicherten Sicherungskopien. Die entscheidende Frage lautet deshalb: Was darf die KI technisch tatsächlich tun – und nicht nur, was haben wir ihr gesagt, dass sie tun darf?

Ein professionelles KI-Management überträgt damit Prinzipien, die bei menschlichen Beschäftigten selbstverständlich sind, auf die künstliche Intelligenz. Nicht jeder Mitarbeiter bekommt Administratorrechte. Nicht jeder darf Zahlungen in beliebiger Höhe freigeben. Und nicht jeder darf sensible Unternehmensdaten löschen. Je autonomer die KI wird, desto wichtiger wird dieses Prinzip, auch beim KI-Einsatz.

Muster 3: Unternehmen unterschätzen die neuen Risiken

Das dritte Muster reicht über die klassischen KI-Fehler hinaus. Künstliche Intelligenz schafft neue Möglichkeiten – und damit neue Formen des Missbrauchs. Ein besonders spektakulärer Fall betraf den britischen Ingenieurkonzern Arup. Ein Mitarbeiter nahm dort an einer Videokonferenz teil und glaubte, in dieser mit dem Finanzchef und Kollegen zu sprechen. Tatsächlich waren die Personen Deepfakes. Der Mitarbeiter veranlasste – in deren Auftrag – insgesamt 15 Überweisungen über rund 20 Millionen Pfund an die Betrüger. Der Fall zeigt, wie schnell bisher bewährte Sicherheitsmechanismen durch KI an Wirkung verlieren können. Früher konnte ein persönliches Telefonat oder eine Videokonferenz als zusätzliche Identitätsprüfung gelten. Heute können Stimme und Erscheinungsbild einer Führungskraft künstlich erzeugt werden.

Hinzu kommen vollkommen neue Angriffsmethoden. Beim sogenannten AI Search Poisoning versuchen Kriminelle beispielsweise, falsche Telefonnummern, Links oder andere Informationen so im Internet zu platzieren, dass KI-Systeme diese übernehmen und Nutzern als vermeintlich vertrauenswürdige Antwort präsentieren.

Auch innerhalb eines Unternehmens kann die KI missbraucht werden. Beschäftigte können Deepfakes erzeugen, vertrauliche Informationen in ungeeignete Systeme eingeben oder die KI für Zwecke verwenden, die Persönlichkeitsrechte, Urheberrechte oder interne Vorgaben verletzen. Deshalb reicht heute ein einmaliger „KI-Führerschein“ für Beschäftigte nicht mehr aus, denn Technologie und Risiken entwickeln sich dafür zu schnell. KI-Management wird deshalb zu einer neuen Führungsdisziplin, bei der es nicht darum geht, ständig dem neuesten KI-Modell hinterherzulaufen. Es geht vielmehr darum, eine Organisation zu schaffen, die mit dieser Entwicklung umgehen kann.

Aus Einzelmaßnahmen wird ein Managementsystem

Die Lösung für diese Probleme besteht nicht darin, die KI zu verbieten oder jeden KI-generierten Satz durch mehrere Hierarchiestufen freigeben zu lassen. Professionelles KI-Management verfolgt einen anderen Ansatz.

Zunächst muss ein Unternehmen wissen, wo KI in ihm überhaupt eingesetzt wird. Anschließend muss es bewerten, welche Risiken mit den einzelnen Anwendungen verbunden sind. Es braucht Spielregeln für den Einsatz, klar definierte Verantwortlichkeiten und Beschäftigte, die wissen, was sie tun dürfen und was sie kontrollieren müssen. Schließlich muss regelmäßig überprüft werden, ob diese Regeln in der Praxis tatsächlich funktionieren. Ein Managementsystem ist im Grunde etwas sehr Einfaches: eine Mischung aus Vorgaben und Kontrollen.

Beim KI-Management geht es ausdrücklich nicht darum, ein neues Bürokratiemonster zu schaffen. Ein KI-System, das interne Texte zusammenfasst, benötigt ein anderes Maß an Kontrolle als eine KI, die selbstständig mit Kunden kommuniziert, Bewerber bewertet, medizinische Empfehlungen unterstützt oder Zahlungen auslösen kann. Das Prinzip ist risikobasiert: Je größer die möglichen Auswirkungen, desto stärker müssen Regeln und Kontrollen sein.

Genau darin liegt der Unterschied zwischen einzelnen KI-Regeln und einem KI-Managementsystem. Eine Richtlinie allein verhindert noch keine Panne. Erst wenn Zuständigkeiten, Risiken, Kontrollen, Schulungen und Verbesserungsprozesse ineinandergreifen, entsteht ein System. Denn: Nicht KI entscheidet über den Erfolg von Unternehmen, sondern die Art, wie sie geführt wird.

Für KI-Management gibt es bereits eine internationale Norm

Unternehmen müssen dieses System nicht selbst erfinden. Mit der ISO/IEC 42001 gibt es bereits einen internationalen Standard für KI-Managementsysteme. Seine Logik ähnelt etablierten Managementsystemen für Qualität oder Informationssicherheit. Die ISO 42001 verlangt unter anderem, den Anwendungsbereich des KI-Managementsystems zu bestimmen, Verantwortlichkeiten festzulegen, Risiken und Chancen zu bewerten, Kompetenzen sicherzustellen, den KI-Einsatz zu kontrollieren und das Managementsystem regelmäßig zu überprüfen und zu verbessern. Hinzu kommen konkrete Maßnahmen rund um KI-Richtlinien, Ressourcen, Folgenabschätzungen, Daten, den Lebenszyklus von KI-Systemen sowie den Umgang mit externen Beteiligten.

Der Vorteil eines solchen Standards liegt vor allem darin, dass nicht jedes Unternehmen seine eigene Definition von „verantwortungsvollem KI-Einsatz“ entwickeln muss. ISO-Normen haben einen entscheidenden Vorteil: Sie sind weltweit anerkannt. Ein Kunde muss sich folglich nicht im Detail erklären lassen, nach welcher selbst entwickelten Methode ein Dienstleister seine KI kontrolliert, denn es existiert ein gemeinsamer Referenzrahmen.

ISO-42001-Zertifizierung als neues Vertrauenssignal

Eine Zertifizierung nach ISO 42001 ist vor allem dort interessant, wo Unternehmen ihren Kunden nicht nur versprechen wollen, KI verantwortungsvoll einzusetzen, sondern dies auch durch eine unabhängige Prüfung nachweisen möchten. Gerade bei Dienstleistern und Technologieunternehmen kann dieser Nachweis Vertrauen schaffen, denn die Kunden müssen nicht selbst prüfen und beurteilen, ob Regeln, Verantwortlichkeiten, Risikobewertungen und Kontrollen tatsächlich vorhanden sind.

Das Zertifikat verspricht jedoch nicht, dass niemals mehr eine KI-Panne auftreten wird. Das wäre unrealistisch. Es weist vielmehr nach, dass ein Unternehmen seinen KI-Einsatz systematisch organisiert, Risiken bewertet, Verantwortlichkeiten festgelegt, geeignete Maßnahmen umgesetzt und deren Wirksamkeit überprüft hat. Oder anders formuliert: Eine ISO-42001-Zertifizierung bescheinigt nicht, dass die KI eines Unternehmens keine Fehler macht. Sie zeigt vielmehr, dass das Unternehmen das Vermeiden von Fehlern bzw. das Qualitätsmanagement auch beim KI-Einsatz nicht dem Zufall überlässt.

Teilen

Dieser Artikel kann nicht kommentiert werden.