FDA Warning Letter zu KI-Agenten: Was Quality Units jetzt nachweisen müssen

Was die FDA tatsächlich festgestellt hat

Der Warning Letter 320-26-58 richtet sich an Purolea Cosmetics Lab, einen Hersteller von Arzneimitteln. Der KI-Teil ist wichtig, aber er ist nicht der ganze Fall. Die FDA beschreibt außerdem unhygienische Bedingungen, fehlende mikrobiologische Prüfungen, unzureichende Komponentenprüfungen und nicht zugelassene Arzneimittel. Wer den Letter auf eine reine KI-Geschichte verkürzt, lässt den größten Teil des Befunds weg.

Innerhalb dieses breiteren Qualitätsversagens dokumentiert die FDA außerdem einen klaren KI-Sachverhalt. Das Unternehmen hatte KI-Agenten eingesetzt, um Produktspezifikationen, Verfahren sowie Master Production oder Control Records zu erstellen. Diese KI-generierten Dokumente wurden nicht ausreichend darauf geprüft, ob sie korrekt und tatsächlich CGMP-konform waren. Die FDA ordnet dieses Versäumnis 21 CFR 211.22(c) zu.

Hinzu kam eine zweite Beobachtung: Vor der Distribution war keine Prozessvalidierung durchgeführt worden. Gegenüber den Inspektoren wurde sinngemäß erklärt, der verwendete KI-Agent habe nicht auf diese Anforderung hingewiesen. Der Kern: Ein Modell kann Arbeit vorbereiten. Es kann die regulatorische Verantwortung des Herstellers und seiner Quality Unit nicht übernehmen.

Keine neue KI-Regel — eine bestehende Verantwortung wird angewendet

Der Warning Letter erfindet keine Sonderpflicht für ChatGPT, LLMs oder KI-Agenten. Er wendet bestehende CGMP-Verantwortung auf ein neues Werkzeug an. Nach 21 CFR 211.22(c) trägt die Quality Control Unit die Verantwortung, Verfahren und Spezifikationen mit Einfluss auf Identität, Stärke, Qualität und Reinheit eines Arzneimittels zu genehmigen oder abzulehnen.

Auch 21 CFR 211.100 ist technologieneutral: Produktions- und Prozesskontrollen müssen schriftlich festgelegt, angemessen geprüft und von den zuständigen Einheiten einschließlich der Quality Unit genehmigt werden. Ob der erste Entwurf von einem Mitarbeiter, einem Dienstleister oder einem Sprachmodell stammt, verschiebt diese Verantwortung nicht.

Für eine weitere Nutzung von KI bei CGMP-Aktivitäten verlangt die FDA im konkreten Fall, dass ein autorisierter menschlicher Vertreter der Quality Unit jeden KI-Output und jede Empfehlung prüft und freigibt.

Das ist für Quality Teams die nützlichste Einordnung. Die Frage lautet nicht: Darf die KI schreiben? Die belastbare Frage lautet: Kann das Unternehmen zeigen, auf welcher Grundlage der Entwurf entstand, wer ihn fachlich geprüft hat und warum er in den kontrollierten Stand übernommen wurde?

KI kann das Schreiben übernehmen. Sie übernimmt nicht die Verantwortung dafür, dass nichts Wesentliches fehlt.

Drei Kontrolllücken hinter dem Satz „Die KI hat es nicht gesagt“

Der dokumentierte Satz ist kein technisches Detail. Er legt drei organisatorische Lücken offen, die auch in wesentlich reiferen Unternehmen auftreten können.

1. Vollständigkeit wurde mit Plausibilität verwechselt

Ein flüssiger Entwurf kann überzeugend wirken und trotzdem eine relevante Anforderung auslassen. Deshalb darf ein LLM nicht selbst bestimmen, welche Quellen und Pflichten vollständig sind. Der zulässige Quellenraum und die erwarteten Prüfkriterien müssen vor der Generierung feststehen.

2. Review war kein nachweisbarer Arbeitsschritt

Ein Mensch im Prozess reicht nicht, wenn später nicht erkennbar ist, was er geprüft, korrigiert oder bewusst akzeptiert hat. Human Review braucht einen sichtbaren Gegenstand: Quelle, Vorschlag, Änderung, offene Punkte und die zuordenbare Entscheidung.

3. Das Werkzeug wurde zum stillen Fachverantwortlichen

Sobald das Team annimmt, ein KI-Agent werde schon auf jede relevante Pflicht hinweisen, hat sich die Rolle verschoben. Aus einem Werkzeug für Zuarbeit wird unbemerkt ein Gatekeeper. Genau diese Rolle darf ein generatives Modell in GxP-Arbeit nicht bekommen.

Wie ein kontrollierter KI-Prozess für GMP-Dokumente aussehen sollte

Aus dem Warning Letter lässt sich kein universelles Validierungskonzept ableiten. Für dokumentennahe KI-Arbeit ergeben sich aber sechs praktische Fragen, die vor dem ersten produktiven Einsatz beantwortet sein sollten:

1. Intended Use: Welche konkrete Aufgabe darf die KI vorbereiten — und welche Entscheidung ausdrücklich nicht treffen?
2. Quellenrahmen: Welche freigegebenen SOPs, Policies, Gesetzestexte, Guidance-Dokumente und Projektnachweise muss der Entwurf berücksichtigen?
3. Entwurfsstatus: Ist jederzeit sichtbar, dass der KI-Output noch kein bestätigter Arbeitsstand ist?
4. Fachlicher Review: Kann der Experte Aussage für Aussage gegen Quelle, Kontext und erwartete Vollständigkeit prüfen?
5. Entscheidungsspur: Bleiben Änderungen, Korrekturen, Annahmen und Ablehnungen einer Person und Begründung zugeordnet?
6. Verfahrensgrenze: Ist klar, welche separate Prozess-, System- oder Methodenvalidierung weiterhin erforderlich bleibt?

Ein Chatverlauf kann einzelne dieser Fragen organisatorisch begleiten. Er beantwortet sie nicht automatisch. Belastbar wird der Prozess durch die Verbindung zwischen kontrollierter Grundlage, erzeugtem Entwurf und menschlicher Entscheidung.

Was traqx an dieser Stelle kontrolliert — und was nicht

Das traqx System ist für genau den dokumentennahen Teil der Arbeit gebaut: Quellen werden vor der Formulierung festgelegt, Aussagen mit Citations verbunden und gegen die verfügbaren Quellen deterministisch geprüft. Vorschläge bleiben als Vorschläge sichtbar. Bei Word-Updates liefert traqx Änderungen im Änderungsmodus und Quellen- oder Begründungskommentare zurück. Review und Entscheidung bleiben beim Experten; der Audit Trail hält den Weg zusammen.

Das ist eine konkrete Antwort auf die im Warning Letter sichtbare Dokumentations- und Review-Lücke. Es ist keine Garantie gegen einen Warning Letter. traqx prüft keine Herstellhygiene, ersetzt keine mikrobiologische Prüfung und führt nicht automatisch eine Prozessvalidierung durch. Auch die Quality Unit wird nicht durch Software ersetzt.

Die Produktrolle bleibt damit klar begrenzt: KI übernimmt Recherche, Entwurf und Dokumentupdates. Das Unternehmen behält fachliche Verantwortung, Prozesskontrolle und Freigabe dort, wo sie hingehören.

Die Konsequenz für Quality Units

Quality Units müssen KI nicht pauschal stoppen. Sie müssen verhindern, dass ein hilfreiches Werkzeug still zum Ersatz für Quellenkenntnis, Vollständigkeitsprüfung oder Fachentscheidung wird. Das beginnt nicht mit einer langen KI-Policy, sondern mit einem sauber abgegrenzten Arbeitsfall.

Nehmen Sie ein reales Dokument, definieren Sie die zulässigen Quellen und die erwarteten Prüfkriterien, lassen Sie die KI einen Entwurf vorbereiten und prüfen Sie anschließend Ergebnis und Nachweiskette. Wenn Quelle, Vorschlag, Korrektur und Entscheidung verbunden bleiben, wird aus schnellerem Schreiben kontrollierte Zuarbeit. Wenn diese Verbindung fehlt, bleibt es ein guter Text ohne belastbaren Arbeitsstand.

Häufige Fragen

Hat die FDA KI oder KI-Agenten in GMP verboten?

Nein. Warning Letter 320-26-58 enthält kein pauschales Verbot von KI in der pharmazeutischen Herstellung. Die FDA beanstandet im konkreten Fall ungeprüfte KI-generierte GMP-Dokumente, eine unzureichende Quality-Unit-Aufsicht und die Übertragung fachlicher Verantwortung auf einen KI-Agenten.

Was hat die FDA bei KI-generierten GMP-Dokumenten beanstandet?

Das Unternehmen nutzte KI-Agenten für Produktspezifikationen, Verfahren und Master Production oder Control Records. Laut FDA wurden diese Dokumente nicht ausreichend auf Richtigkeit und tatsächliche CGMP-Konformität geprüft; die FDA ordnete das 21 CFR 211.22(c) zu.

Muss die Quality Unit KI-generierte Dokumente prüfen?

Ja, wenn diese Dokumente in den Verantwortungsbereich der Quality Unit fallen. 21 CFR 211.22(c) weist ihr die Verantwortung für die Genehmigung oder Ablehnung qualitätsrelevanter Verfahren und Spezifikationen zu; ein KI-generierter Entwurf ändert diese Zuständigkeit nicht.

Kann ChatGPT für GxP-Dokumente eingesetzt werden?

Der Produktname entscheidet nicht über die GxP-Eignung. Relevant sind Intended Use, Daten- und Quellenrahmen, angemessene Qualifizierung oder Validierung, dokumentierter Human Review, Change Control und Audit Trail. Eine allgemeine Chat-Oberfläche stellt diese Kontrollen nicht allein dadurch her, dass ein Mitarbeiter den Output liest.

Hätte traqx diesen FDA Warning Letter verhindert?

Das lässt sich seriös nicht behaupten. Der Warning Letter enthält neben der KI-Beobachtung grundlegende Herstellungs-, Prüf- und Qualitätssystemmängel. traqx adressiert den kontrollierten Teil der Dokumentarbeit mit Quellenbindung, sichtbaren Vorschlägen, menschlichem Review und Audit Trail; es ersetzt weder die Quality Unit noch Prozessvalidierung oder Herstellkontrollen.