KI-Richtlinie für GxP: Was eine belastbare AI Use Policy regeln sollte

Warum eine allgemeine KI-Policy für GxP nicht reicht

„Keine vertraulichen Daten in öffentliche Chatbots“ ist eine sinnvolle Regel. Für GxP-Arbeit reicht sie nicht. Ein Team muss zusätzlich wissen, ob ein KI-Output nur beim Brainstorming hilft oder später eine SOP, eine URS, eine Abweichungsbewertung oder eine Qualitätsentscheidung stützt.

Die entscheidende Trennlinie ist deshalb nicht der Produktname des KI-Werkzeugs, sondern der beabsichtigte Einsatz. Je näher ein Output an Produktqualität, Patientensicherheit, Datenintegrität oder einer GxP-Aufzeichnung liegt, desto konkreter müssen Verantwortung, Prüfung und Nachweis geregelt sein.

Eine Policy macht den Einsatz nicht automatisch GxP-konform. Sie verhindert aber, dass jeder Mitarbeiter dieselbe Grenze neu erfinden muss.

Die eine Screening-Frage, die vor jedem KI-Anwendungsfall steht

Wird die Frage verneint, kann der Anwendungsfall trotzdem Datenschutz-, Geheimhaltungs-, Urheber- oder AI-Act-Regeln berühren. Wird sie bejaht oder bleibt die Antwort unklar, gehört der Fall in eine dokumentierte GxP- und Risikobewertung — bevor das Werkzeug produktiv eingesetzt wird.

Diese Vorprüfung ist bewusst einfach. Sie ersetzt weder Intended Use noch Quality Risk Management oder Validierung. Sie sorgt dafür, dass relevante Fälle überhaupt dort ankommen.

Zehn Bausteine einer belastbaren GxP AI Policy

1. Zweck, Geltungsbereich und Begriffe: Für wen gilt die Richtlinie, welche Systeme und Outputs umfasst sie und wie werden KI, generative KI, Modell und Anbieter abgegrenzt?
2. Zulässige Anwendungsfälle: Welche Aufgaben dürfen mit freigegebenen Werkzeugen unterstützt werden — etwa Recherche, Entwurf, Zusammenfassung oder Vergleich?
3. Unzulässige oder eingeschränkte Nutzung: Was bleibt verboten, bis eine gesonderte Bewertung vorliegt? Dazu können autonome Freigaben, kritische Entscheidungen oder die Eingabe nicht freigegebener Daten gehören.
4. Freigegebene Werkzeuge und Datenräume: Welche Anbieter, Tenants, Vertrags- und Datenschutzeinstellungen dürfen für welche Datenklassen verwendet werden?
5. Intended Use und Risikoklasse: Wer beschreibt den beabsichtigten Einsatz, bewertet GxP-Relevanz und legt die notwendigen Kontrollen fest?
6. Quellen und Faktengrundlage: Welche Aussagen müssen auf kontrollierte Quellen zurückführbar sein? Wie werden offene Punkte statt erfundener Sicherheit sichtbar?
7. Output-Status und Human Review: KI erzeugt einen Vorschlag, keinen selbstfreigegebenen Arbeitsstand. Die Policy benennt Prüfer, Prüftiefe und Entscheidungskriterien.
8. Aufzeichnungen und Audit-Trail: Welche Eingaben, Quellen, Versionen, Änderungen, Entscheidungen und Begründungen müssen erhalten bleiben?
9. Rollen, Schulung und AI Literacy: Anwender, Fachverantwortliche, QA, IT, Datenschutz und Einkauf brauchen definierte Aufgaben und eine zum Einsatz passende Kompetenz.
10. Abweichung, Änderung und Review: Wie werden Fehler, Anbieter- oder Modellwechsel, neue Funktionen und neue Anwendungsfälle bewertet? Wann wird die Policy selbst überarbeitet?

Drei Entscheidungsspuren statt einer langen Verbotsliste

Eine gute Richtlinie führt den Mitarbeiter zu einer Entscheidung. Dafür reichen meist drei klare Spuren:

• Nicht zulässig: Das Werkzeug oder die Datenklasse ist nicht freigegeben, oder die KI soll eine menschliche GxP-Entscheidung autonom ersetzen.
• Kontrolliert assistiv: Die KI bereitet Arbeit vor. Quellenraum, Output-Grenze und qualifizierter Human Review sind festgelegt; der Mensch verantwortet den verwendeten Stand.
• Gesondert zu bewerten: Der Output berührt kritische GMP-Anwendungen, GxP-Aufzeichnungen oder Entscheidungen. Intended Use, Risiko, Datenintegrität, Lieferant und Validierungsstrategie werden vorab bewertet.

Diese Einteilung ist ein Organisationsmodell, keine regulatorische Risikoklasse. Sie muss an Prozesse, Daten und Verantwortlichkeiten des Unternehmens angepasst werden.

Data Integrity: Was die Policy für KI-Software nachweisbar machen muss

Bei KI-gestützter GxP-Arbeit reicht es nicht, nur den finalen Text aufzubewahren. Für einen belastbaren Review muss erkennbar bleiben, welche Quellen und Eingaben verwendet wurden, welche Version des Systems beteiligt war, was die KI vorgeschlagen und was der Mensch geändert oder übernommen hat.

Die konkrete Aufbewahrung richtet sich nach Prozess, Risiko und geltenden Vorgaben. Die Policy sollte aber mindestens festlegen, wie Zurechenbarkeit, Vollständigkeit, Änderungshistorie, Verfügbarkeit und der Zusammenhang zur Originalquelle erhalten bleiben. Eine ausführliche Prüfliste steht im Beitrag ALCOA+ und Data Integrity mit KI-Software.

Formulierungsbeispiel: der operative Kern in sechs Sätzen

KI-Werkzeuge dürfen nur für freigegebene Anwendungsfälle, in freigegebenen Systemumgebungen und mit zulässigen Daten verwendet werden. Vor jedem Einsatz ist zu prüfen, ob der Output eine GxP-Aufzeichnung, ein kontrolliertes Dokument, einen regulierten Prozess oder eine Qualitätsentscheidung unterstützt. In diesem Fall sind Intended Use, Risiko, Quellen, erforderliche Nachweise und Human Review vorab festzulegen. KI-Outputs bleiben Vorschläge, bis eine benannte, qualifizierte Person sie geprüft und für den vorgesehenen Zweck übernommen hat. Eingaben, Quellen, Änderungen und Entscheidungen sind entsprechend dem anwendbaren Verfahren nachvollziehbar zu erhalten. Fehler, unerwartete Ergebnisse sowie Änderungen an Modell, Anbieter oder Konfiguration sind zu melden und risikobasiert neu zu bewerten.

Von der Policy in den Alltag: ein umsetzbarer Start

1. Inventar erstellen: Nicht nur beschaffte Systeme, sondern reale KI-Berührungspunkte in GxP-Prozessen erfassen.
2. Anwendungsfälle klassifizieren: Die Screening-Frage beantworten und unklare Fälle an QA, IT, Datenschutz oder weitere zuständige Rollen geben.
3. Kontrollen am Arbeitsfall festlegen: Quellen, Daten, Output-Status, Prüftiefe, Aufzeichnung und Stop-Regeln definieren.
4. Menschen am echten Prozess schulen: Nicht nur Prompting zeigen, sondern Fehlerbilder, Grenzen und den richtigen Review üben.
5. Nachweise testen: Einen Anwendungsfall vom Prompt bis zur menschlichen Entscheidung rekonstruieren. Was dabei fehlt, ist eine reale Governance-Lücke.

Der Leitfaden KI in GxP ordnet Policy, Validierung, EU AI Act und den Annex-22-Entwurf in einen gemeinsamen Governance-Rahmen ein.

Regulatorische Einordnung ohne Scheinpräzision

Die EMA beschreibt in ihrem 2024 verabschiedeten Reflection Paper Prinzipien für KI über den Lebenszyklus von Arzneimitteln. Der EU AI Act verlangt von Anbietern und Betreibern in seinem Anwendungsbereich Maßnahmen für ein angemessenes Maß an KI-Kompetenz. FDA und MHRA formulieren seit Jahren Erwartungen an zuverlässige, korrekte und über den Lebenszyklus integre GxP-Daten.

Der Annex-22-Entwurf zieht für seinen GMP-Kontext eine besonders klare Grenze: Generative KI und LLM sollen nicht in kritischen GMP-Anwendungen eingesetzt werden. Für nicht kritische GMP-Anwendungen nennt der Entwurf qualifiziertes, geschultes Personal und Human-in-the-Loop-Verantwortung. Das ist ein wichtiges Signal — aber weder ein pauschales LLM-Verbot noch bereits geltendes Recht.

Häufige Fragen

Was gehört in eine KI-Richtlinie für GxP?

Sie sollte Geltungsbereich, erlaubte und verbotene Nutzung, freigegebene Werkzeuge und Daten, GxP-Screening, Intended Use, Risikobewertung, Quellenanforderungen, Human Review, Aufzeichnungen, Rollen, Schulung sowie Abweichungs- und Change-Prozesse regeln.

Ist eine GxP AI Policy gesetzlich vorgeschrieben?

Kein universelles Regelwerk verlangt ein Dokument mit genau diesem Titel. Unternehmen müssen jedoch die für ihren Einsatz geltenden GxP-, Datenintegritäts-, Datenschutz- und AI-Act-Anforderungen beherrschen. Eine schriftliche Policy ist ein praktikabler Weg, diese Anforderungen in nutzbare Regeln und Nachweise zu übersetzen.

Dürfen ChatGPT oder andere LLM in GxP eingesetzt werden?

Das hängt vom konkreten Einsatz, den Daten, dem System und den anwendbaren Vorgaben ab. Der Annex-22-Entwurf sieht generative KI und LLM nicht für kritische GMP-Anwendungen vor. Bei nicht kritischen Anwendungen bleiben qualifizierte menschliche Prüfung, zulässige Daten und ein kontrollierter Prozess entscheidend.

Welche Daten dürfen Mitarbeiter in KI-Systeme eingeben?

Nur Daten, die für das freigegebene Werkzeug, den vereinbarten Tenant, den konkreten Zweck und die festgelegte Datenklasse zugelassen sind. Vertrauliche, personenbezogene oder GxP-relevante Daten gehören nicht in öffentliche Chat-Systeme, wenn dafür keine ausdrückliche Freigabe und geeignete vertragliche und technische Kontrolle besteht.

Wer darf einen KI-Output für GxP übernehmen?

Eine in der Organisation benannte und für den Arbeitsfall qualifizierte Person. Die Policy muss Prüftiefe, Entscheidungskriterien und erforderlichen Nachweis festlegen. KI kann einen Vorschlag erzeugen, sich aber nicht selbst prüfen oder freigeben.

Wie oft sollte eine KI-Richtlinie überprüft werden?

In einem definierten periodischen Rhythmus und zusätzlich ereignisgetrieben — etwa bei neuen Werkzeugen oder Anwendungsfällen, Modell- oder Anbieteränderungen, relevanten Vorfällen und neuen regulatorischen Vorgaben. Eine universelle feste Frist gibt es nicht.