Eine neu veröffentlichte Schwachstelle in einem verbreiteten KI-Assistenten liefert eine unbequeme Lehre. Fachleute brachten das System dazu, über seine eigenen Schutzmassnahmen zu sprechen. Aus den Begründungen abgelehnter Antworten liess sich die Architektur ableiten, bis ein undokumentierter Parameter offenlag. Danach reichte ein Klick, damit der Assistent mit den Rechten des Anwenders angebundene Dienste auslas.
Das Muster steht bei OWASP zuoberst auf der Risikoliste für Sprachmodelle: Auftrag und verarbeiteter Inhalt landen im gleichen Kontext. Eine Webseite kann so zur Befehlszeile werden. Das ist eine Eigenschaft der Bauweise, keine Kinderkrankheit.
Für Betriebe folgt daraus keine Sperre, sondern Architekturarbeit. Ein Assistent darf nie mehr sehen als seine Rolle. Jede Anbindung braucht eine Begründung, fremde Inhalte gelten als Daten und nie als Anweisung, der dauerhafte Speicher gehört in den Prüfrhythmus. Wer verbietet, verlagert die Nutzung in private Konten.