KI/ML-Systeme nach GAMP 5 validieren — der praktische Pfad für Modelle

Warum KI/ML eine andere Validierung verlangt — innerhalb von GAMP 5

Klassische Software ist berechenbar: gleicher Input, gleicher Output — was einmal validiert ist, verhält sich morgen genauso. Ein KI-Modell gibt diese Garantie nicht. Es lernt aus Daten, antwortet probabilistisch, und sein Verhalten kann sich verschieben, sobald sich die Daten darunter ändern. Die Reproduzierbarkeit, auf die sich klassische Validierung stützt, ist bei Modellen nicht selbstverständlich — sie muss aktiv abgesichert werden.

Der Rahmen bleibt trotzdem GAMP 5: risikobasiert, Lifecycle-orientiert, Critical Thinking. Wie man ein KI/ML-System darin konkret validiert, ist der angewandte Pfad dieses Beitrags. (Was sich in der Second Edition allgemein geändert hat — Critical Thinking, agile Lifecycles, Cloud — steht im GAMP-5-Überblick.)

GAMP 5 (2nd Edition) und die begleitenden KI-Materialien führen dafür kein neues Regelwerk ein — sie ergänzen den bekannten Lifecycle um zusätzliche Aktivitäten. Die folgenden Schritte sind die, die in der Praxis über den klassischen CSV-Umfang hinausgehen.

Schritt 1: Intended Use präzise fassen und Risiko einstufen

Wie bei jeder CSV beginnt alles beim Intended Use — aber bei KI mit mehr Schärfe: Welche Aufgabe übernimmt das Modell, mit welchen Eingabedaten, mit welchen Grenzen, und welche Entscheidung hängt am Output?

Daraus folgt die Risiko-Einstufung. Je direkter ein Modell-Output eine GxP-Entscheidung trägt (Freigabe, Spezifikation, Bewertung), desto strenger die Anforderungen an Test, Erklärbarkeit und Aufsicht. Ein unterstützendes Modell (Strukturierung, Recherche-Hilfe) trägt weniger Risiko als eines, das in eine Qualitätsentscheidung einfließt. Diese Einstufung — bewusst und begründet, nicht schematisch — ist die Critical-Thinking-Grundlage, auf der alle weiteren Schritte ihren Aufwand bemessen.

Schritt 2: Datenqualität und unabhängige Testdaten

Der größte Unterschied zur klassischen CSV liegt in den Daten. Trainings-, Validierungs- und Testdaten müssen kontrolliert, repräsentativ und nachvollziehbar verwaltet sein — Qualität und Herkunft sind selbst validierungsrelevant.

Im Zentrum stehen unabhängige Testdaten mit drei Regeln:

• Strikter Daten-Split: Der Datenpool wird nachweisbar in getrennte Sätze für Training, Validierung (Tuning während der Entwicklung) und Test aufgeteilt.
• Vollständiger Ausschluss: Der finale Testdatensatz muss eine unvoreingenommene, unabhängige Prüfung sein — er darf zu keinem Zeitpunkt im Training oder im Hyperparameter-Tuning verwendet worden sein.
• Kein Data Leakage: Ein Testdatensatz wird für spätere Modell-Iterationen nicht wiederverwendet — sonst entsteht Verzerrung (data leakage). Ein Abweichen verlangt eine starke, risikobasierte Begründung.

Übersetzt: Die Leistungsbewertung ist nur dann ein Nachweis, wenn das Modell auf Daten geprüft wurde, die es nie gesehen hat.

Bei klassischer Software testet man das Programm. Bei KI testet man auch die Daten — und ihre saubere Trennung.

Schritt 3: Modell-Lebenszyklus statt Stichtags-Validierung

Klassische CSV denkt oft in einem Ereignis: validiert, freigegeben, fertig. Bei Modellen trägt das nicht. GAMP 5 erkennt agile und iterative Entwicklung ausdrücklich an — sofern die Kontrollen erhalten bleiben (Rückverfolgbarkeit Anforderung→Test, bewertete Risiken, kontrollierte Änderungen).

Für kritische Anwendungen heißt das in der Praxis: Das Modell wird trainiert, eingefroren, getestet und in einem definierten, nachweisbaren Zustand betrieben. Jedes Re-Training oder Modell-Update ist eine Änderung mit Change Control und Bewertung des Änderungsrisikos — kein stilles Weiterlernen im Betrieb. So bleibt der validierte Zustand jederzeit belegbar.

Schritt 4: Monitoring, Drift und menschliche Aufsicht

Weil sich reale Bedingungen ändern, verlangt die Betriebsphase eine kontinuierliche Überwachung der Modellmetriken — Stichwort Drift: Wenn die Eingangsdaten von der Trainingsverteilung abweichen, kann die Leistung leise sinken. Definierte Metriken, Schwellen und ein Eskalationspfad gehören deshalb in den Betriebsplan, nicht in eine Nachdokumentation.

Zentral bleibt die menschliche Aufsicht. Bei jedem GxP-relevanten Modell-Output bleibt die fachliche Prüfung und namentliche Freigabe Pflicht — die KI bereitet vor, der Mensch entscheidet. Quellenbindung, markiertes Unbelegtes und attributierte Freigabe sind auch das, worauf die Kontroll-Architektur von traqx aufsetzt — Ingest, Generate, Verify, Release, kein Konformitätsversprechen.

Schritt 5: Modell- und Daten-Provenienz absichern

Ein Punkt, der klassische CSV nicht kennt, aber für KI zentral ist: die Provenienz — die nachvollziehbare Herkunft von Daten und Modell.

• Daten-Provenienz: Lückenlose Erfassung der Datenherkunft (data lineage), der Rechtevereinbarungen sowie der Curation- und Anonymisierungsschritte.
• Modell-Inventar & Traceability: Ein Modell-Inventar verknüpft die Version des Modell-Artefakts mit den exakten Trainingsparametern, dem genutzten Trainingscode und den zugrundeliegenden Trainingsdaten.
• Erweiterte Lieferantenbewertung: Liefert ein externer Anbieter das Modell, muss er GxP-Verständnis zeigen und auf KI-spezifische Qualitätsfähigkeiten geprüft werden — Modell-Integritätsschutz, Bias-Mitigation und Absicherung gegen Angriffe wie Data Poisoning.

Provenienz ist die KI-Übersetzung eines alten GxP-Prinzips — dieselbe Beweisdisziplin, die auch hinter ALCOA+ und Datenintegrität steht: Behaupte nichts, was du nicht zurückverfolgen kannst.

Die ehrlichen Grenzen

Drei Klarstellungen:

• GAMP 5 ist ein Leitfaden, kein Gesetz. Die bindenden Anforderungen sind GMP, EU-Annex 11 und 21 CFR Part 11 — GAMP 5 ist ein etablierter Branchenleitfaden, um ihre Erfüllung risikobasiert zu begründen.
• Generative KI ist ein Sonderfall. Für kritische Anwendungen erwarten Regulatoren beherrschbares, nachweisbares Modellverhalten; generative/probabilistische Systeme brauchen dort besondere Vorsicht und menschliche Prüfung (mehr dazu im Annex-22-Überblick und in Annex 22 vs. Annex 11).
• Dies ist Orientierung, keine Beratung. Maßgeblich sind die Originaldokumente und Ihre im Kontext validierte, mit Ihrer QA abgestimmte Bewertung.