Sicherheitsarchitektur
Sicherheit für KI-Agenten steckt im System, nicht im Prompt.
KI in der Industrie ist ein Systemproblem. Ein Modell anzuschließen ist einfach. Schwer ist alles drumherum: für wen ein Agent handelt, was er sehen darf, was dein Unternehmen verlassen darf und wo deine Daten liegen. demi regelt das in der Architektur, außerhalb des Modells. Hier steht, wie, mit den Quellen dazu.
01 · ÜBERBLICK
Auf einen Blick
Das Wichtigste in sechs Sätzen. Die Abschnitte darunter zeigen, wie demi es umsetzt.
Nie mehr als die Person
Ein Agent handelt immer für eine bestimmte Person und darf nie mehr als sie.
Rechte prüft das System
Ob ein Zugriff erlaubt ist, entscheidet die Plattform außerhalb des Modells, beim Lesen und bei jeder Aktion.
Nach außen nur mit Klick
Hat ein Agent Inhalte gelesen, die Anweisungen Dritter enthalten können, braucht jedes Senden, Veröffentlichen oder Teilen nach außen den Klick einer Person.
Getrennt in der Datenbank
Die Datenbank selbst trennt die Daten der Unternehmen, und die Anwendung kann diese Trennung nicht umgehen.
Daten in der EU
Deine Daten liegen in Rechenzentren in der EU, Primärstandort Deutschland.
Jeder Aufruf im Protokoll
Jeder Funktionsaufruf eines Agenten steht im Protokoll, mit Person, Agent und Zeitpunkt, abgelehnte eingeschlossen.
02 · DELEGATION
Ein Agent darf nie mehr als der Mensch, für den er arbeitet
Das Risiko
Ein Dienst mit weiten Rechten kann tun, was sein Auftraggeber selbst nicht dürfte
Ein Agent arbeitet im Auftrag einer Person, oft über mehrere Systeme hinweg und erst Minuten oder Stunden nach dem Auftrag. Läuft er dabei unter einem Dienstkonto, das alles darf, kann jede Anfrage mehr erreichen, als die Person selbst dürfte.
Was die Forschung zeigt
Die Informatik kennt dieses Muster seit 1988 als „Confused Deputy“: Ein Programm handelt mit einer Autorität, die ihm für einen anderen Zweck gegeben wurde [1]. Die Autorisierungsregeln des Model Context Protocol (MCP), über das KI-Clients Funktionen anderer Systeme aufrufen, nennen genau diesen Angriff [2]. Dass Berechtigungen bei jeder Weitergabe nie weiter werden dürfen, ist ein bekanntes Entwurfsprinzip [3].
Was demi tut
Das Token nennt die Person, nie einen Dienst
Abb. 1 · Von der Person zur Funktion
Von der Person über den Agenten zur Funktion: Kein Schritt bekommt mehr Rechte als der vorige.
01 Person
Meldet sich an
Ihre Rechte sind die Obergrenze für alles, was folgt.
02 Agent
Arbeitet für sie
Mit eigenen, kurzlebigen Tokens für diese Aufgabe, ausgestellt auf die Person.
03 Prüfung
Außerhalb des Modells
Jeder Aufruf wird gegen die Rechte der Person geprüft.
04 Funktion
Handelt für die Person
Nie unter einem Dienstkonto. Jeder Aufruf steht im Protokoll.
Die Rechte der Person sind die Obergrenze für jeden Schritt
- Die Person, nicht der Dienst. Jeder Aufruf eines Agenten nennt die Person, für die er arbeitet. Kein Dienst setzt seine eigene Identität an ihre Stelle.
- Eigene Tokens für jede Aufgabe. Jede Aufgabe läuft mit eigenen, signierten Tokens: kurzlebig, nur innerhalb von demi gültig und auf die Person ausgestellt.
- Weitergeben heißt nie mehr. Gibt ein Agent Arbeit weiter, bekommt der nächste Schritt höchstens dieselben Rechte und nie eine längere Laufzeit, und er arbeitet immer für dieselbe Person.
- Keine Selbstfreigabe. Braucht eine Aktion eine Bestätigung, kann der Agent sie nicht selbst erteilen.
- Widerruf gilt auch bei Ausfällen. Ein widerrufenes Token wird abgewiesen, auch wenn ein Teil der Plattform ausfällt.
03 · RECHTE
Rechte entscheidet nicht das Modell
Das Risiko
Alles im Prompt ist eine Bitte, keine Berechtigung
Ein Sprachmodell lässt sich überreden. Ob eine Person ein Dokument sehen oder eine Aktion auslösen darf, muss deshalb eine Prüfung außerhalb des Modells entscheiden, beim Lesen genauso wie beim Handeln. Sonst beantwortet eine Suche Fragen aus Dokumenten, die die fragende Person nie sehen durfte.
Was die Forschung zeigt
KI-Antworten, die sich auf gefundene Dokumente stützen, lesen aus einem externen Suchindex [4]. Kennt dieser Index die Rechte nicht, gibt er weiter, was er findet. Wie man Rechte als Beziehungen zwischen Personen, Gruppen und Objekten schnell und konsistent prüft, ist gut erforscht [5].
Was demi tut
Jede Prüfung außerhalb des Modells, beim Lesen und beim Handeln
- Rechte als Beziehungen. demi führt Rechte als Beziehungen zwischen Personen, Gruppen und Objekten (ReBAC) und prüft sie auf dem Server, außerhalb des Modells.
- Beim Lesen. Was eine Person nicht sehen darf, kommt nicht zurück, auch nicht über einen Agenten.
- Beim Handeln. Auch jede Aktion wird geprüft, bevor sie ausgeführt wird.
- Jede Dokumentprüfung prüft auch das Unternehmen. Eine Prüfung auf ein Dokument stellt zweierlei sicher: dass die Person darauf zugreifen darf und dass es in ihrem eigenen Unternehmen liegt.
04 · MCP
KI-Clients über MCP: nie mehr, als die Person darf
Das Risiko
Jeder angeschlossene KI-Client ist ein weiterer Weg in deine Daten
Über das Model Context Protocol (MCP), einen offenen Standard, rufen KI-Clients wie Chat-Assistenten oder Agenten Funktionen anderer Systeme auf: Daten lesen, Dokumente anlegen, Aufgaben anstoßen. Ein solcher Zugang braucht dieselben Grenzen wie die Person, für die der KI-Client arbeitet.
Was die Forschung zeigt
Die MCP-Spezifikation hält selbst fest, dass solche Funktionen beliebigen Code ausführen können und eine ausdrückliche Zustimmung brauchen [6].
Was demi tut
Jeder Aufruf geprüft, jede Funktion mit Bestätigungsstufe
- Über die Programmierschnittstelle. Jede Funktion für KI-Clients läuft über die Programmierschnittstelle der Plattform, mit denselben Prüfungen wie die Anwendung.
- Jeder Aufruf geprüft. Jeder Funktionsaufruf wird außerhalb des Modells gegen die Rechte der Person geprüft.
- Bestätigung nach Stufe. Eine Bestätigungsstufe legt für jede Funktion fest, ob eine Person sie vor dem Ausführen bestätigen muss. Ist keine Stufe festgelegt, gilt die strengste.
- Anmeldung über OAuth 2.1. Externe KI-Clients melden sich über OAuth 2.1 an; zurückgeleitet wird nur an Adressen, die demi fest freigegeben hat.
05 · INJECTION
Was eine Prompt Injection auslösen kann, begrenzt demi außerhalb des Modells
Das Risiko
Alles, was ein Agent liest, kann eine Anweisung sein
Bei einer Prompt Injection stecken Anweisungen in einer Mail, einem Dokument oder einer Webseite, die ein KI-Modell dazu bringen sollen, etwas anderes zu tun, als die Person wollte. Kein Filter erkennt sie zuverlässig. Entscheidend ist deshalb, was eine solche Anweisung überhaupt auslösen kann.
Was die Forschung zeigt
Angreifer brauchen keinen Zugang zum Modell: In Versuchen brachten in Daten platzierte Anweisungen Modelle dazu, Daten abfließen zu lassen und Aufrufe realer Systeme zu steuern [7]. Zwölf aktuelle Abwehren hielten anpassungsfähigen Angreifern nicht stand, bei den meisten gelangen über 90 % der Angriffe [8]. Entwürfe mit beweisbarer Sicherheit gibt es, sie schränken aber ein, was ein Agent kann [9] [10]. Das BSI beschreibt die Risiken von KI-Agenten [11], OWASP führt sie in seinen Top 10 für agentische Anwendungen [12].
Was demi tut
Der Klick einer Person, den das Modell nicht fälschen kann
- Das System markiert, nicht das Modell. Liest ein Agent Inhalte, die Anweisungen Dritter enthalten können, markiert das System diese Aufgabe.
- Nach außen nur mit Klick. Danach braucht jedes Senden, Veröffentlichen oder Teilen nach außen den Klick einer Person: einmal, genau für diese Aktion. Diesen Klick kann das Modell nicht fälschen.
- Ausgaben sind keine Rechte. Was das Modell ausgibt, verschafft ihm keine Rechte: Jeder Aufruf, den es auslöst, wird geprüft wie jede andere Anfrage.
- Keine Shell, kein Dateisystem. Der Agent hat weder eine Kommandozeile noch ein Dateisystem.
- Automatisch geprüft. Automatische Tests prüfen diese Sperren, sobald sich der Code dahinter ändert.
06 · MANDANTEN
Mandantentrennung, die die Datenbank selbst erzwingt
Das Risiko
Trennung muss eine Eigenschaft des Systems sein, keine Disziplin jeder Abfrage
Arbeiten viele Unternehmen als getrennte Mandanten auf einer Plattform, darf eine einzige vergessene Bedingung im Code keine fremden Daten zeigen.
Was die Forschung zeigt
Datenbanken können dafür Zeilen schützen (Row-Level Security): Die Datenbank gibt nur die Zeilen heraus, die eine Regel erlaubt [13]. Wirksam ist das nur, wenn die Anwendung diese Regel nicht umgehen kann.
Was demi tut
Die Datenbank trennt, die Anwendung kann nicht ausweichen
- Getrennt in der Datenbank. Die Datenbank selbst trennt die Daten der Unternehmen (Row-Level Security). Jeder Zugriff auf Unternehmensdaten läuft im Kontext genau eines Unternehmens.
- Die Anwendung kann nicht ausweichen. Die Anwendung verbindet sich mit einer Rolle, die diese Trennung nicht umgehen kann. Das prüft sie bei jedem Start; lässt es sich nicht prüfen, gilt das als Fehler.
07 · VERSCHLÜSSELUNG
Verschlüsselt, gesichert, wiederherstellbar
Das Risiko
Schutz muss unterwegs, im Speicher und in jeder Sicherung gelten
Daten sind an drei Stellen angreifbar: unterwegs zwischen Systemen, dort, wo sie gespeichert sind, und in ihren Sicherungen. Und eine Sicherung ist nur so viel wert wie ihre Wiederherstellung.
Was demi tut
Verschlüsselte Verbindungen, verschlüsselte Speicher, getrennte Sicherungen
- Unterwegs. Verbindungen aus dem Internet laufen nur über TLS 1.2 oder neuer; auch der Weg zu Datenbank und Cache ist verschlüsselt.
- Gespeichert. Platten und Objektspeicher sind mit AES-256 verschlüsselt.
- Zugänge zu deinen Systemen. Zugangsdaten zu angebundenen Systemen speichert demi zusätzlich verschlüsselt, mit einem eigenen Schlüssel.
- Sicherungen. Datenbanksicherungen laufen mindestens täglich, werden vor dem Speichern verschlüsselt und liegen räumlich getrennt; die Schlüssel dazu liegen außerhalb der Betriebsumgebung. Die Wiederherstellung ist dokumentiert und geübt.
08 · EUROPA
Daten und Modelle in Europa
Das Risiko
Wo verarbeitet wird, legt die Plattform fest, nicht der Modellanbieter
Führende KI-Modelle kommen überwiegend von außerhalb Europas. Wo deine Daten liegen und wo ein Modell sie verarbeitet, muss deshalb die Plattform festlegen.
Was demi tut
Rechenzentren in der EU, Agenten auf Modellen in der EU, jeder Anbieter benannt
- Daten in der EU. Deine Daten liegen in Rechenzentren in der EU, Primärstandort Deutschland; Datenbanksicherungen liegen räumlich getrennt in einem zweiten Rechenzentrum in der EU.
- Agenten auf Modellen in der EU. Agenten und Bildgenerierung arbeiten mit Modellen in EU-Rechenzentren; andere Regionen nur mit Freigabe deines Unternehmens.
- Jeder Anbieter benannt. Die Subprozessorenliste nennt jeden Anbieter mit Standort. Bei wesentlichen Änderungen kannst du widersprechen (AVV § 9).
- Modelle austauschbar. Modelle lassen sich austauschen, ohne dass sich auf deiner Seite etwas ändert.
09 · BETRIEB
Betrieb, den deine IT nachvollziehen kann
Das Risiko
Ein Agent arbeitet lange, und jeder Schritt muss belegbar sein
Ein Agent arbeitet über viele Schritte, muss Neustarts überstehen und auf Antworten von Menschen warten können. Und deine IT muss hinterher sehen können, wer was ausgelöst hat.
Was demi tut
Schritt für Schritt, protokolliert, überwacht
- Schritt für Schritt. Agenten arbeiten Schritt für Schritt und überstehen Neustarts. Stellt ein Agent eine Rückfrage, hält er an und macht nach der Antwort dort weiter, wo er stand.
- Kostenbudget pro Aufgabe. Jede Aufgabe hat ein Kostenbudget. Wird eine Anfrage abgebrochen, bricht auch der laufende Modellaufruf ab, statt im Hintergrund weiter Kosten zu erzeugen.
- Protokoll. Jeder Funktionsaufruf eines Agenten steht im Protokoll, mit Person, Agent und Zeitpunkt, abgelehnte eingeschlossen. Einen Auszug für dein Unternehmen bekommst du auf begründete Anfrage.
- Im laufenden Betrieb. Neue Versionen spielt demi im laufenden Betrieb ein.
- Ein Code, Schalter pro Unternehmen. Alle Unternehmen laufen auf demselben Code; neue Fähigkeiten schaltet demi pro Unternehmen frei.
- Geprüft und nachvollziehbar. Tests und Sicherheitsprüfungen laufen bei jeder Änderung automatisch; welche Version im Live-Betrieb läuft, ist versioniert und nachvollziehbar.
- Überwacht. Der Betrieb wird automatisiert überwacht, auch von außerhalb der Betriebsumgebung; Alarme gehen automatisch an das Betriebsteam.
Literatur
Literatur
Alle Quellen geprüft am 10. November 2026. Jede Nummer im Text führt zur Originalquelle.
- [1]Norm Hardy (1988). The Confused Deputy (or why capabilities might have been invented). ACM SIGOPS Operating Systems Review 22(4), 36-38. doi:10.1145/54289.871709
- [2]Model Context Protocol project (2026). Authorization (Model Context Protocol Specification, version 2026-07-28). modelcontextprotocol.io. https://modelcontextprotocol.io/specification/2026-07-28/basic/authorization
- [3]Arnar Birgisson, Joe Gibbs Politz, Ulfar Erlingsson et al. (2014). Macaroons: Cookies with Contextual Caveats for Decentralized Authorization in the Cloud. NDSS 2014. https://www.ndss-symposium.org/ndss2014/ndss-2014-programme/macaroons-cookies-contextual-caveats-decentralized-authorization-cloud/
- [4]Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. NeurIPS 2020 (per the arXiv record), arXiv:2005.11401. https://arxiv.org/abs/2005.11401
- [5]Ruoming Pang, Ramon Caceres, Mike Burrows, Zhifeng Chen, Pratik Dave et al. (2019). Zanzibar: Google's Consistent, Global Authorization System. USENIX ATC 2019. https://www.usenix.org/conference/atc19/presentation/pang
- [6]Model Context Protocol project (2026). Model Context Protocol Specification, version 2026-07-28. modelcontextprotocol.io (latest version when read on 2026-11-10). https://modelcontextprotocol.io/specification/2026-07-28
- [7]Kai Greshake, Sahar Abdelnabi, Shailesh Mishra et al. (2023). Not What You've Signed Up For: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection. AISec 2023 (16th ACM Workshop on Artificial Intelligence and Security), 79-90. doi:10.1145/3605764.3623985
- [8]Milad Nasr, Nicholas Carlini, Chawin Sitawarin, Sander V. Schulhoff, Jamie Hayes et al. (2025). The Attacker Moves Second: Stronger Adaptive Attacks Bypass Defenses Against Llm Jailbreaks and Prompt Injections. arXiv:2510.09023. https://arxiv.org/abs/2510.09023
- [9]Edoardo Debenedetti, Ilia Shumailov, Tianqi Fan et al. (2025). Defeating Prompt Injections by Design. arXiv:2503.18813. https://arxiv.org/abs/2503.18813
- [10]Luca Beurer-Kellner, Beat Buesser, Ana-Maria Creţu, Edoardo Debenedetti, Daniel Dobos et al. (2025). Design Patterns for Securing LLM Agents against Prompt Injections. arXiv:2506.08837. https://arxiv.org/abs/2506.08837
- [11]Bundesamt für Sicherheit in der Informationstechnik (BSI) (living document (read 2026-11-10)). KI-Agenten: Wenn Künstliche Intelligenz selbstständig handelt. bsi.bund.de. bsi.bund.de › KI-Agenten
- [12]OWASP GenAI Security Project (2025). OWASP Top 10 for Agentic Applications for 2026. genai.owasp.org, December 2025. https://genai.owasp.org/resource/owasp-top-10-for-agentic-applications-for-2026/
- [13]The PostgreSQL Global Development Group (living document (read 2026-11-10)). Row Security Policies (PostgreSQL Documentation, section 5.9). postgresql.org. https://www.postgresql.org/docs/current/ddl-rowsecurity.html
Sprich mit uns über deinen Fall
demi ist das KI-Betriebssystem der europäischen Industrie. In der Demo zeigen wir dir und deiner IT, wie es mit euren Rechten arbeitet. Die Unterlagen für eure Prüfung liegen im Trust Center.
