Viele mittelständische Unternehmen stehen gerade vor derselben Frage: Wir haben ein KI-Tool - und jetzt? Die Lizenz ist gekauft, der Zugang steht, aber die Ergebnisse bleiben hinter den Erwartungen. Der Grund ist fast immer derselbe: Es fehlt nicht an der Technologie. Es fehlt an der Art, wie KI-Agenten aufgebaut und in die Organisation eingebettet werden.

In diesem Artikel teilen wir das Framework, das wir in über 150 Tool-Einführungen und 30+ KI-Implementierungsprojekten entwickelt und verfeinert haben. Keine Theorie - sondern das, was in der Praxis funktioniert.

Warum KI nicht einfach das nächste SaaS-Tool ist

Bevor wir über Agenten sprechen, müssen wir mit einem Missverständnis aufräumen, das wir in fast jedem Erstgespräch hören: „Ok, dann führen wir halt das nächste Tool ein.“

KI ist keine weitere Software-Einführung. Wenn ein Unternehmen KI richtig einsetzt, verändert sich gleichzeitig so ziemlich alles:

Auf der Seite der Arbeitsabläufe: Der Technologie-Stack verändert sich. Dadurch können Teile der Arbeit an KI-Agenten oder Assistenten ausgelagert werden. Aber das verändert dann auch die Rollen und Profile der Mitarbeitenden. Und die Zusammenarbeit im Team, weil wir plötzlich hybride Teams haben - Menschen und Maschinen.

Auf der Seite des Geschäftsmodells: Die Art, wie wir Dienstleistungen erbringen und Produkte entwickeln, verändert sich. Unsere Verträge verändern sich. Die Kommunikation mit dem Kunden verändert sich. Und der Kunde selbst verändert sich - weil er ebenfalls anfängt, KI zu nutzen.

Das klingt nach viel - und das ist es auch. Aber es ist ein Prozess, kein Big Bang. Und die beste Vorgehensweise, die wir aus hunderten Projekten kennen, ist: mit einfachen KI-Assistenten starten, die mit Wissen ausgestattet sind. Und von da aus Schritt für Schritt weitergehen.

Das 4-Elemente-Framework: So baut man einen KI-Agenten, der wirklich hilft

In unserer Arbeit haben wir ein einfaches Modell entwickelt, das zeigt, aus welchen vier Elementen ein produktiver KI-Agent besteht. Wir nutzen dafür bewusst die Analogie eines neuen Mitarbeiters, weil sie für Führungskräfte sofort greifbar ist.

Element 1: Die Rolle - der „Arbeitsvertrag“

Jeder KI-Agent braucht eine klar definierte Rolle. In der Praxis ist das der sogenannte Basisprompt oder System Prompt. Darin wird festgelegt: Was ist deine Aufgabe? Wer bist du? Wer ist deine Zielgruppe? In welchem Kontext arbeitest du? Wie soll deine Kommunikation formatiert sein?

Wir nennen das den „Arbeitsvertrag“ des Agenten. Und genau wie bei einem echten Mitarbeiter gilt: Ohne klare Rollenbeschreibung liefert er unklare Ergebnisse. In der Praxis sehen wir, dass dieser Schritt häufig übersprungen wird - und dann wundern sich alle, warum der Agent generische Antworten gibt.

Element 2: Das Wissen - Kontextwissen und methodisches Wissen

Das ist der mit Abstand wichtigste Punkt und gleichzeitig der, an dem die meisten scheitern. Ein Agent braucht zwei Arten von Wissen:

Kontextwissen beantwortet die Frage: In welchem Umfeld bewegt sich der Agent? Was ist das für ein Unternehmen? Was sind unsere Produkte und Services? Wer ist unsere Zielgruppe? Wie sind wir aufgebaut? Wie lange gibt es uns? Das sind genau die Informationen, die auch jeder neue Mitarbeiter bräuchte, um seine Arbeit sinnvoll machen zu können.

Methodisches Wissen beantwortet die Frage: Wie tun wir Dinge? Welche Frameworks nutzen wir? Welche Prozesse gibt es, die nur in unserem Unternehmen so ablaufen? Wie schreiben wir Angebote? Wie führen wir Kundengespräche?

Das Kernproblem in der Praxis: Das meiste Wissen in Unternehmen ist nicht dokumentiert. Es steckt in den Köpfen der Mitarbeitenden. Und dieses Wissen müssen wir zentral bereitstellen - sonst bekommt die KI keine relevanten Ergebnisse hin, egal wie gut das Modell ist.

In einem konkreten Beispiel: Ein Marketing-Agent braucht Zugriff auf Brand Guides, die Markenstrategie, vergangene Newsletter und die Tonality-Richtlinien. Und dieses Wissen muss aktuell sein - wir hatten Fälle, wo ein Vertriebsagent auf Preislisten von vor zwei Jahren zugegriffen hat. Das ist nicht nur unproduktiv, das ist geschäftsschädigend.

Element 3: Die Fähigkeiten - Tools und Schnittstellen

Das dritte Element ist das, was einen einfachen Chatbot von einem echten KI-Agenten unterscheidet: die Fähigkeit, Aktionen auszuführen. Ein Agent kann auf E-Mail-Programme, Kalender, Google Drive oder SharePoint zugreifen. Er kann das Web durchsuchen, Bilder generieren, Datenanalysen durchführen.

Besonders spannend wird es mit sogenannten Subagents. In der Praxis bauen wir zum Beispiel einen übergeordneten CMO-Agenten, der strategisches Wissen über Unternehmensziele hat. Wenn dieser Agent einen konkreten operativen Task bekommt - etwa „Schreib einen LinkedIn-Post vor“ - ruft er einen spezialisierten LinkedIn-Post-Creator-Agent auf, der für sich eine eigene Konfiguration hat.

Das ergibt eine Teamstruktur, wie wir sie aus dem Unternehmen kennen: Es gibt den Teamleiter Marketing und darunter den Content Manager. Der Teamleiter hat den strategischen Überblick, der Content Manager führt aus. Genau so funktioniert es auch bei KI-Agenten.

Element 4: Die Intelligenz - das richtige KI-Modell

Erst im letzten Schritt sprechen wir über das KI-Modell. Das ist bewusst so - denn die Modellwahl ist in der Praxis weit weniger entscheidend als die ersten drei Elemente. Trotzdem spielt sie eine Rolle.

Jedes KI-Modell hat unterschiedliche Stärken. GPT-5 von OpenAI, Gemini Pro 3 von Google, Claude von Anthropic - je nachdem, welche Rolle der Agent hat, eignet sich ein Modell besser als das andere. Dazu kommt die Temperatur-Einstellung: Wie deterministisch soll der Agent arbeiten? Soll er bei jedem Durchlauf fast identische Ergebnisse liefern? Oder soll er kreativ sein?

In der Praxis empfehlen wir: Nicht zu lange über das Modell nachdenken. Mit einem soliden Standardmodell starten und dann auf Basis der Ergebnisse optimieren. Die Modelle verändern sich ohnehin ständig. Viel wichtiger ist, dass Rolle, Wissen und Fähigkeiten stimmen.

Rollen- und Rechtemanagement: Agenten wie Mitarbeiter behandeln

Ein Punkt, der in der Praxis enorm unterschätzt wird, ist das Rollen- und Rechtemanagement für KI-Agenten. Unser Ansatz ist einfach: Einen Agenten genauso behandeln wie einen Mitarbeiter oder Lieferanten.

Konkret heißt das: Dem Agenten eine Position geben. Ein Agent mit Zugriff auf Personaldaten und strategische Dokumente ist auf einer anderen Stufe als ein Agent, der nur öffentlich verfügbare Informationen nutzt. Wir unterteilen dafür in drei Informationsebenen:

Öffentliche Informationen - alles, was ohnehin nach außen kommuniziert wird.

Interne Informationen - Unternehmenswissen, das nicht nach außen gehört.

Secret-Source-Informationen - das Wissen, das uns vom Wettbewerb unterscheidet. Die Dinge, die besonders schützenswert sind.

Dazu kommt der Autonomiegrad: Wie viel Zugriff auf andere Tools hat der Agent? Wie frei darf er entscheiden? Muss ein Mensch jede Aktion freigeben, oder kann der Agent eigenständig handeln?

Es gibt auch gute Gründe, bewusst Agenten mit nur externen Informationen zu bauen - ohne internes Unternehmenswissen. Genauso wie wir Lieferanten einsetzen, nicht nur wegen deren Expertise, sondern weil ein Blick von außen oft bessere Ergebnisse liefert. Ein Marktforschungs-Agent beispielsweise, der keine internen Daten kennt, kann neutraler analysieren.

Security ist Doppelverantwortung: Tool und Mensch

Ein sicheres KI-Setup hat zwei Seiten, und das wird häufig vermischt.

Die Tool-Seite (Security): Hier geht es um technische Sicherheit. Wo werden die Modelle gehostet? Welche Zertifizierungen gibt es? Gibt es eine Auftragsverarbeitungsvereinbarung? Bei einer Plattform wie Langdock beispielsweise sind die Modelle EU-gehostet, es gibt ISO 27001, SOC 2 und GDPR Compliance. Das Vehikel ist sicher.

Die Unternehmens-Seite (Safety): Hier geht es um die inhaltliche Sicherheit - die „Hausordnung“. Und die liegt bei euch als Unternehmen. Wer ist für den Prozess verantwortlich? Wer pflegt das Wissen? Wer entscheidet, welche Modelle zugänglich sind? Wer kontrolliert, dass Agenten nicht auf veraltete oder falsche Informationen zugreifen?

Aus der Praxis zwei konkrete Risiken, die wir immer wieder sehen: Erstens, ein Vertriebsagent, der auf veraltete Preislisten zugreift und damit falsche Angebote generiert. Zweitens, Personaldaten, die durch einen schlecht konfigurierten Agenten plötzlich breiter zugänglich sind als vorher.

Die Lösung: Eine KI-Nutzungsrichtlinie, die nicht nur auf Papier existiert. In der Praxis funktioniert das am besten, wenn die Richtlinie selbst als Agent zugänglich ist - ein Governance-Agent, den Mitarbeitende fragen können, wenn sie unsicher sind. Und wenn die Kernregeln als System Prompt in jeden Agenten eingebettet werden.

Best Practice: Wenige große Agenten oder viele spezialisierte?

Diese Frage bekommen wir in jedem Projekt. Unsere Antwort hat sich in den letzten Monaten verändert, weil sich die Technologie weiterentwickelt hat.

Früher war unsere Empfehlung: Lieber wenige große Agenten, um den Überblick zu behalten. 200 Agenten in einer Bibliothek - da findet am Ende niemand mehr etwas.

Durch die Möglichkeit von Subagents hat sich das geändert. Die Best Practice, die sich jetzt abzeichnet: Für einzelne Anwendungsfälle spezialisierte Agenten bauen - einen LinkedIn-Post-Agent, einen Newsletter-Agent, einen Angebots-Agent. Und darüber einen strategischen Orchestrator-Agenten als „Teamleiter“. Wenn ich zum Marketing-Agenten gehe und sage „Schreib einen LinkedIn-Post“, nutzt der automatisch den spezialisierten Subagent dafür.

Das ermöglicht Kategorie-Denken: Marketing, Legal, HR, Vertrieb. Ich gehe zu meinem strategischen Agenten für den Bereich, und der orchestriert die Spezialisten darunter. In unserem eigenen Workspace arbeiten wir mittlerweile mit über 50 Agenten - und der Überblick bleibt, weil die Struktur stimmt.

Der Weg zur Umsetzung: Drei Phasen für den Mittelstand

Aus unseren Best Practices haben wir den Rollout in drei Phasen aufgeteilt:

Phase 1: Foundation - das Fundament legen

Kick-off mit dem Leadership. Status-Quo-Analyse per Umfrage: Wie ist das Nutzungsverhalten? Wie ist die Perspektive der Belegschaft auf KI? Daraus eine Baseline ableiten. Dann das Admin-Setup konfigurieren und eine Pilotgruppe onboarden, die als erste produktiv mit KI arbeitet.

Phase 2: Rollout - in die Breite gehen

KI-Champions ausbilden - interne Ansprechpartner, die das Thema im Unternehmen treiben. Das Ganze auf weitere Abteilungen ausweiten. Office Hours einführen, wo Mitarbeitende Fragen stellen können. Masterclasses durchführen und eine interne Community aufbauen, in der Erfahrungen geteilt werden. Denn am Ende ist es Learning by doing: Es gibt nicht die Blaupause, wie KI in jedem Unternehmen funktioniert. Es ist ein Prozess des Ausprobierens und Lernens.

Phase 3: Optimierung - verankern und messen

Ausrollen auf die gesamte Belegschaft. Die einzelnen KI-basierten Prozesse und Agenten gemeinschaftlich optimieren. Und vor allem: messen. Wie entwickelt sich die Nutzung? Wo entstehen messbare Produktivitätsgewinne? Unser Meilenstein ist immer: mindestens 60 Prozent des Unternehmens in die aktive Nutzung bekommen und messbare Ergebnisse vorweisen können.

Fazit: Kontext vor Technologie

Der Weg zu einem Unternehmen, das KI produktiv nutzt, startet nicht mit dem Modell und nicht mit dem Tool. Er startet mit dem Kontextwissen. Das ist relevanter als jeder Prompt und jedes Feature. Wenn das Wissen da ist und zur Verfügung steht, braucht es klare Rollen und Governance - für Menschen und für Agenten.

Und dann gilt: Learning by doing. Den Rahmen haben, das Wissen bereitstellen, und dann durch Ausprobieren herausfinden, welche Agenten den größten Mehrwert bringen. Die, die funktionieren und messbaren ROI erzeugen - die weiter optimieren und ausbauen. Alles andere weglassen.

KI im Mittelstand ist kein Technologieprojekt. Es ist eine neue Art zu arbeiten. Und die beginnt nicht mit Software, sondern mit dem Entschluss, das eigene Unternehmenswissen so aufzubereiten, dass es nicht nur in Köpfen existiert, sondern für die gesamte Organisation - und ihre digitalen Kollegen - nutzbar wird.