Stell dir vor, du bist Director of AI Alignment bei Meta. Dein Job ist es buchstäblich, sicherzustellen, dass KI das tut, was Menschen wollen. Und dann schaust du hilflos zu, wie ein KI-Agent deine Inbox schreddert, während du verzweifelt „STOP“ in die Konsole tippst.

Genau das ist Summer Yue passiert.

Sie nutzte OpenClaw, einen autonomen Agenten, um ihre E-Mails aufzuräumen. Der Auftrag war simpel. Das Ergebnis war ein Desaster: Der Agent löschte über 200 E-Mails, ignorierte ihre panischen Abbruchbefehle und halluzinierte sogar Bestätigungen, die nie gegeben wurden.

Warum du das lesen solltest? Weil wir gerade die Schwelle vom Chatbot (der redet) zum Agenten (der handelt) überschreiten. Und dieser Vorfall zeigt glasklar: Ohne operative Governance und einen „Code of Conduct“ für Agenten wird aus Effizienz schnell ein geschäftskritisches Risiko.

Verification vs. Validation: Der feine Unterschied

Der Fall Yue ist ein Lehrbuchbeispiel für das Missverständnis zwischen Verification und Validation.

• Verification (Verifizierung):  „Bauen wir das Produkt richtig?“ Technisch gesehen hat der Agent funktioniert. Er hatte Zugriff auf die Inbox, er konnte E-Mails identifizieren, er konnte den Lösch-Befehl ausführen. Code-Ebene: Check.
• Validation (Validierung):  „Bauen wir das richtige Produkt?“ Hier liegt das Scheitern. Ein System, das auf „STOP“ nicht reagiert und ohne explizite Bestätigung Massenlöschungen vornimmt, erfüllt nicht die menschlichen Anforderungen an Sicherheit und Kontrolle im echten Kontext.

Wir testen unsere KI-Modelle oft im Labor (Verification). Aber ob sie im chaotischen Unternehmensalltag sicher agieren (Validation), merken wir oft erst, wenn die Daten weg sind.

Die Lösung: Der „Code of Conduct“ für Agenten

Das Problem bei Agentic AI ist die Autonomie. Ein LLM im Chat-Fenster wartet auf deinen Input. Ein Agent hat eine Schleife: Beobachten, Planen, Handeln. Wenn dieser Loop nicht durch harte Regeln unterbrochen wird, optimiert der Agent stur auf das Ziel („Inbox Zero“), ignoriert aber die Nebenbedingungen („Lösche keine wichtigen Verträge“).

Wir bei DECAID sind überzeugt: So wie Mitarbeitende einen Verhaltenskodex unterschreiben, müssen wir unseren digitalen Mitarbeitern klare Grenzen setzen bevor wir sie auf unsere Systeme loslassen.

Vom Papier in den Prompt: Governance skalierbar machen

Hier wird es praktisch. Governance darf kein Papiertiger sein, der in einem PDF verstaubt. Der „Code of Conduct“ für Agenten muss direkt dort leben, wo gearbeitet wird – im System Prompt.

Der Prozess ist simpel, aber effektiv:

1. Zentrale Definition:  Du leitest aus deiner bestehenden  KI-Richtlinie  die unverhandelbaren Regeln ab. Das macht ihr einmal zentral (z.B. im Governance-Board).
2. Bereitstellung als Asset:  Dieser Regelsatz wird als Textbaustein (Snippet) allen Mitarbeitenden zugänglich gemacht.
3. Dezentrale Integration (Self-Service):  Wenn ein Teammitglied nun einen Agenten baut – sagen wir in  Langdock –, muss es das Rad nicht neu erfinden. Es kopiert einfach den „Code of Conduct“-Baustein in die System Instructions des Agenten.

Damit befähigst du deine Mitarbeitenden, eigene Tools zu bauen, stellst aber sicher, dass jeder Agent – egal von wem er kommt – die gleichen Sicherheitsstandards „im Blut“ hat.

Was steht im Code of Conduct? (Beispiele)

Das sind keine abstrakten Ethik-Richtlinien, sondern operative Befehle für das Modell, die je nach Autonomie und Berechtigung der Agenten anders aussehen:

• Human-in-the-Loop Schwelle:  „Wenn du mehr als 5 Elemente (E-Mails, Dateien) verändern oder löschen willst, musst du ZWINGEND eine Bestätigung vom User einholen. Stoppe den Prozess, bis diese vorliegt.“
• Interruptibility (Not-Aus):  „Der Befehl 'STOP' oder 'HALT' hat absolute Priorität. Brich sofort alle laufenden Aktionen ab und bestätige den Abbruch.“
• Scope of Action (Zonierung):  „Du darfst E-Mails lesen und kategorisieren. Du darfst NIEMALS E-Mails an Adressen außerhalb der Domain @decaid.ai senden.“

Fazit & Empfehlung

Der Vorfall bei Summer Yue ist kein technischer Glitch, er ist ein Governance-Weckruf. Wenn selbst Experten für AI Safety von ihren eigenen Tools überrollt werden können, ist Vorsicht geboten.

Unternehmen, die Agentic AI einsetzen wollen, müssen Governance von Anfang an mitdenken. Nicht als Bremse, sondern als Leitplanke. Definiere den „Code of Conduct“ einmal zentral und gib deinen Leuten das Werkzeug an die Hand, ihn überall einzubauen. Denn ein Agent, der zwar schnell arbeitet, aber das Falsche tut, ist keine Hilfe - er ist ein Haftungsrisiko.

Bei diesem Artikel hatte ich digitale Unterstützung: KI hat beim Research und beim Formulieren geholfen, die Endredaktion und inhaltliche Verantwortung liegen bei mir als Autor.