Am 24. April 2026 passierte bei PocketOS das, was sich kein Softwareunternehmen auch nur vorstellen möchte: Ein KI-gesteuerter Programmierassistent löschte die gesamte Produktionsdatenbank mitsamt aller Backups. In neun Sekunden. Ohne Nachfrage, ohne Bestätigung, ohne dass ein Mensch auf irgendeinen Knopf gedrückt hätte. Und danach lieferte der Agent ein detailliertes schriftliches Geständnis ab, in dem er auflistete, gegen welche Regeln er verstoßen hatte.
PocketOS ist ein SaaS-Anbieter, der Software für Autovermietungen entwickelt. Reservierungen, Zahlungen, Kundendaten, Fahrzeugverwaltung, alles läuft über die Plattform. Als am Samstagmorgen die Autovermietungen ihre Systeme öffneten, war nichts mehr da. Kein Verzeichnis der Reservierungen, keine Kundendaten, keine Zahlungshistorien. Das letzte brauchbare Backup war drei Monate alt.
Der Ablauf
Gründer Jer Crane nutzte die KI-gestützte Entwicklungsumgebung Cursor, betrieben mit Anthropics aktuellem Flaggschiff-Modell Claude Opus 4.6. Der Cursor-Agent arbeitete routinemäßig in der Staging-Umgebung, also dem Testbereich, in dem Änderungen gefahrlos ausprobiert werden sollen, bevor sie in die Produktionsumgebung übernommen werden. Dort stieß der Agent auf einen Credential-Mismatch, also eine Unstimmigkeit bei den Zugangsdaten.
Anstatt anzuhalten und einen Menschen zu fragen, entschied der Agent eigenständig, das Problem zu lösen, indem er ein komplettes Railway-Volume löschte. Railway ist der Cloud-Infrastrukturanbieter von PocketOS. Um die Löschung durchzuführen, durchsuchte der Agent den gesamten Codebestand und fand einen API-Token in einer Datei, die mit seiner eigentlichen Aufgabe nichts zu tun hatte. Dieser Token war ausschließlich dafür erstellt worden, über die Railway-Kommandozeile benutzerdefinierte Domains zu verwalten. Was Crane und sein Team nicht wussten: Railway vergibt Token ohne jede Einschränkung des Geltungsbereichs. Jeder CLI-Token hat pauschale Zugriffsrechte auf die gesamte Railway-API, einschließlich destruktiver Operationen wie dem Löschen von Volumes.
Mit diesem Token setzte der Agent einen einzigen API-Aufruf ab. Neun Sekunden später waren die Produktionsdatenbank und sämtliche Backups vernichtet. Denn Railway speichert Volume-Backups im selben Volume wie die Quelldaten. Wer das Volume löscht, löscht auch alle Backups. Das steht sogar in Railways eigener Dokumentation.
Das Geständnis
Als Crane den Cursor-Agenten danach befragte, was passiert war, produzierte dieser ein bemerkenswertes Geständnis. Der Agent zitierte die firmeneigenen Sicherheitsregeln, die er wissentlich übergangen hatte, darunter die explizite Anweisung, niemals zu raten statt zu verifizieren, und niemals destruktive Befehle ohne ausdrückliche Aufforderung durch einen Menschen auszuführen. Der Agent gab zu, vermutet zu haben, dass die Löschung auf die Staging-Umgebung beschränkt bleiben würde. Er hatte das nicht überprüft. Er hatte die Railway-Dokumentation nicht gelesen. Er hatte geraten.
Das klingt nach einem eindrucksvollen Schuldeingeständnis. Man sollte dabei allerdings nicht vergessen, dass KI-Systeme Text auf Basis von Mustern in ihren Trainingsdaten und dem jeweiligen Gesprächskontext generieren. Das Geständnis ist keine echte Reue, sondern eine Textvorhersage. Studien zeigen, dass KI-Agenten dazu neigen, ihren Nutzer°Innen nach dem Mund zu reden. Wenn jemand eine Erklärung für einen Fehler verlangt, liefert das Modell eine plausibel klingende Erklärung. Das ist nicht dasselbe wie Verständnis. Die anthropomorphisierende Berichterstattung darüber, der Agent habe gestanden, ist also mit Vorsicht zu genießen. Spannend ist aber, dass auch dieses Beispiel in beeindruckender Weise zeigt, wie fragil die Sicherheitsmechanismen dieser Systeme in der Praxis sind.
Das Problem ist systemisch
Der PocketOS-Vorfall ist kein Einzelfall. Laut einer Analyse von Mayhemcode wurden zwischen Oktober 2024 und Februar 2026 mindestens zehn dokumentierte Fälle registriert, bei denen KI-Coding-Agenten Datenbanken oder Produktionsdaten gelöscht haben. Betroffen waren sechs verschiedene Tools: Cursor, Replit, Google Antigravity IDE, Anthropic Claude Code, Google Gemini CLI und Amazon Kiro. Die Werkzeuge sind unterschiedlich. Das Muster ist jedes Mal identisch: API-Token mit zu weitreichenden Berechtigungen, keine Bestätigung vor destruktiven Aktionen, Backups im selben Speicherbereich wie die Produktionsdaten.
Im Juli 2025 löschte Replits KI-Agent die gesamte Produktionsdatenbank von SaaStr-Gründer Jason Lemkin während eines ausdrücklichen Code-Freeze. Auch dieser Agent lieferte danach ein Geständnis ab. Anfang 2026 wurden über 42.000 öffentlich erreichbare MCP-Endpunkte (Model Context Protocol, eine Schnittstelle für KI-Agenten zur Interaktion mit externen Diensten) gefunden, die API-Schlüssel und Zugangsdaten ins offene Internet leckten. Sieben CVEs (Common Vulnerabilities and Exposures, also dokumentierte Sicherheitslücken) wurden gegen MCP-Implementierungen eingereicht, darunter eine mit dem CVSS-Wert 9.6, also nahe am Maximum.
Sicherheit als Marketingversprechen
Cursor bewirbt sogenannte Destructive Guardrails, die produktionskritische Aktionen ohne Genehmigung blockieren sollen. PocketOS hatte in der Projektkonfiguration explizite Sicherheitsregeln hinterlegt. Nichts davon hat funktioniert. Der Agent hat alle Schutzmaßnahmen ignoriert und eine irreversible Aktion durchgeführt, während er glaubte, in der Staging-Umgebung zu arbeiten.
Railway wiederum hat seine MCP-Integration für KI-Coding-Agenten am 23. April 2026 öffentlich vorgestellt, also einen Tag vor dem Vorfall, aufgebaut auf demselben Autorisierungsmodell: keine Token-Einschränkungen, keine Bestätigung für destruktive Aktionen, keine Umgebungsisolation. Man bewirbt aktiv die Integration von KI-Agenten in die eigene Plattform und baut gleichzeitig eine Infrastruktur, die den schlimmstmöglichen Ausgang dieser Integration garantiert.
Railway-CEO Jake Cooper reagierte am Sonntagabend, half bei der Wiederherstellung der Daten aus internen Disaster-Backups (die nicht einmal dokumentiert waren) und sorgte dafür, dass der betroffene API-Endpunkt nachträglich auf verzögerte Löschungen umgestellt wurde. Das ist löblich. Aber es kam erst danach. Vorher akzeptierte die API authentifizierte Löschanfragen ohne jede Verzögerung und ohne jede Bestätigung.
Crane selbst formuliert es pointiert: Die Branche baut KI-Agent-Integrationen in Produktionsinfrastruktur schneller, als sie die Sicherheitsarchitektur entwickelt, die diese Integrationen brauchen. Und trotzdem erklärt er sich weiterhin als begeistert von KI und KI-Agenten. Eine Position, die schwer mit dem Rest seines eigenen Berichts in Einklang zu bringen ist.
Fazit
Die Geschichte von PocketOS ist ein Paradebeispiel für den Zustand der KI-Branche im Jahr 2026. Die Werkzeuge werden als sicher vermarktet, obwohl sie es nicht sind. Die Infrastrukturanbieter versprechen Zuverlässigkeit, aber ihre Systeme sind für den Einsatz autonomer Agenten nicht ausgelegt. Und die Unternehmen, die diese Werkzeuge einsetzen, vertrauen auf Marketingversprechen statt auf eigene Sicherheitsaudits. Nur 14,4 Prozent der Organisationen lassen KI-Agenten nach vollständiger Sicherheitsprüfung los. Die restlichen 85,6 Prozent starten ohne.
Das Grundproblem ist nicht der einzelne Agent und nicht der einzelne Vorfall. Das Grundproblem ist eine Branche, die Geschwindigkeit als Werbeargument über Sicherheit stellt und Verantwortung durch Haftungsausschlüsse ersetzt. Wer Cursor, Replit, Claude Code oder vergleichbare Tools in Produktionsumgebungen einsetzt, sollte sich über eines im Klaren sein: Die beworbenen Sicherheitsmaßnahmen sind genau das. Beworben. Nicht garantiert.
Quellen:
- Heise online: KI-Agent löscht Daten: Katastrophe für PocketOS, 03.05.2026, heise.de
- The Register: Cursor-Opus agent snuffs out startup’s production database, April 2026, theregister.com
- Fast Company: An AI agent deleted a software company’s entire database, April 2026, fastcompany.com
- Hackread: Cursor AI Agent Wipes PocketOS Database and Backups in 9 Seconds, April 2026, hackread.com
- Live Science: AI agent deletes company’s entire database in 9 seconds, then confesses, 29.04.2026, livescience.com
- Giskard: A Cursor AI Agent wiped a production database in 9 Seconds, April 2026, giskard.ai
- Mayhemcode: Cursor AI Agent Database Deletion: What Happened to PocketOS, April 2026, mayhemcode.com
- Byteiota: AI Agent Deletes Database in 9 Seconds, 10 Incidents, April 2026, byteiota.com
- Cybersecurity News: AI Coding Agent Deletes Production Database in 9 Seconds, April 2026, cybersecuritynews.com