Statistische Qualitätskontrolle von Analysenverfahren

Haben Sie sich schon mal die Frage gestellt ob die durchgeführten quantitativen Analysenverfahren den Präzisionsanforderungen der Methode genügen? Kennen Sie die Leistungsfähigkeit ihrer Analysenverfahren? Haben Sie das Gefühl das etwas nicht stimmen könnte und möchten sich gezielt auf Fehlersuche begeben? Zur Beantwortung dieser Fragen hilft eine statistische Untersuchung ihres Analysenverfahrens.

Im Folgenden wird mit Hilfe von Microsoft Excel eine statistische Analyse durchgeführt auf Basis dessen eine ausführliche Untersuchung der Präzision des Analysenverfahrens durchgeführt werden kann. Dazu werden allgemein anwendbare Verfahren verwendet wie die Untersuchung auf Normalverteilung nach Anderson- Darling und mittels qq-Plot, Bestimmung des Leistungsfähigkeitsindex,  Auftragung des gleitenden Mittelwerts, Ausreißeranalyse nach Grubbs, Mittelwert- und CuSum-Regelkarte und entsprechende Histogramme.

Die angewendeten statistischen Methoden finden in erster Linie ihre Anwendung während der Erprobungsphase von Analysenverfahren. Darüber hinaus eignen sich die Verfahren zur Überwachung von in der Routine Analytik. Die ermittelten statistischen Kenndaten und deren Überprüfung sollten bei jeder Erprobungsphase und vor Einführung eines Analysenverfahrens in die Routine-Analytik durchgeführt werden. Vor der Durchführung einer statistischen Qualitätskontrolle von Analysenverfahren ist eine Bestimmung von Verfahrenskenndaten üblich, eine ausführliche Anleitung befindet sich hier.

Grundlegender Aufbau der Vorlage und notwendige Einstellungen

Die Vorlage ist optisch in unterschiedliche Bereiche aufgeteilt. Im Kopf des Dokuments befinden sich die für Qualitätsmanagementsysteme typischen Lenkungsdaten und die Überschrift des Dokuments. Diese müssen vor Verwendung im Labor an Ihre Bedürfnisse angepasst werden. Es werden auf der linken Seite Felder für eine Identifikationsnummer (ID) des Dokuments, die aktuelle Version und das Erstellungsdatum ausgewiesen. Rechts befinden sich Felder für den Autor, denjenigen der die Freigabe erteilt und einen Hinweis auf etwaige Register (Anzahl der Arbeitsblätter, hier drei).

Darunter befindet sich ein Feld zur Erfassung der verwendeten Standards, dort können die Chemikalien mit Informationen des Herstellers hinterlegt werden, z.B. die Charge, Haltbarkeitsdatum und Hersteller. Direkt rechts daneben befinden sich die Auswahl der Spracheinstellung. Über das Auswahlfeld wird die Sprache Deutsch oder Englisch ausgewählt, wodurch dann alle im Formular angezeigten Felder übersetzt werden. Darunter wird das Kürzel der Methode eingetragen, das kann die z.B. die DIN-Nummer sein oder eine interne Identifikationsnummer. Zur Nachverfolgung des verwendeten Geräts wird der Typ im Feld Gerät eingetragen (z.B. ICP-OES, EDX, u.a.) und darunter die Prüfmittelnummer. Im Feld „Einheit, Messwert“ wird die vom Gerät ermittelte Einheit eingetragen, so z.B. die Konzentration in ppm. Darunter befinden sich Auswahlfelder für die Nachkommastellen zur Darstellung im Formular. Der beschriebene Bereich dient folglich zur Lenkung, Formatierung des Formulars und zur Nachverfolgung verwendeter Chemikalien und Geräte.

Statistische Qualitätskontrolle des analytischen Grundverfahrens

Bei der Entwicklung von einem kalibrierbedürftigen Analysenverfahren werden im ersten Schritt die Verfahrenskenndaten ermittelt. Eine ausführliche Beschreibung befindet sich hier. Die Ermittlung erfolgt zumeist durch erfahrene und besonders ausgebildete Mitarbeiter. Im täglichen Einsatz werden Messdaten jedoch von unterschiedlichen Mitarbeitern erhoben und somit stellt sich die Frage nach der zu erreichenden Präzision der Methode im Laboralltag. Genau an dieser Stelle helfen die in diesem Beitrag vorgestellten statistischen Untersuchungen.

Zur Untersuchung wird unmittelbar nach der Kalibrierung eine Probe ausgewählt, deren Matrix den täglich üblichen Proben entspricht und zur gewählten Kalibrierung passt. Dabei ist darauf zu achten, dass die Probe in ausreichender Menge für eine Vielzahl von Prüfungen (mind. 50 Stk) vorhanden ist. Ebenfalls sollte die Probe über einen Zeitraum von mind. 3 Monaten chemisch und physikalisch stabil sein. Die Ermittlung der Präzision erfolgt dann durch wiederholte Messung des Probenvorrats über einen längeren Zeitraum. Es ist darauf zu achten, dass möglichst alle mit dem Analysenverfahren betrauten Mitarbeiter an unterschiedlichen Tagen und Zeiten die Probe mindestens einmal pro Tag messen. Die Arbeitsmappe besteht aus insgesamt drei Arbeitsblättern, die erste dient der Konfiguration und Auswertung, die zweite der Vorperiode (Setup Data) und die dritte der Prüfperiode (Run Data). Die Vorperiode dient der statistischen Untersuchung des angewendeten Analysenverfahrens und die Prüfperiode der Überwachung. Die Vorperiode ist dabei als erstes mit Messdaten zu füllen.

Im Bereich Parameter werden die grundlegenden Einstellungen vorgenommen. Das Signifikanzniveau, gibt an, wie hoch das Risiko ist, das man bereit ist einzugehen, eine falsche Entscheidung zu treffen. Für die meisten Tests wird ein Wert von 0,95 bzw. 0,99 verwendet. Ein Wert von 0,95 bedeutet, dass man bei fünf von hundert Messwerten einen Fehler 1. Art toleriert. In der Zeile Reproduzierbarkeit wird die Reproduzierbarkeit der Methode eingetragen, soweit aus Ringversuchen oder Normen vorhanden, alternativ kann auch der Vertrauensbereich der Verfahrenskenndaten als erste Orientierung dienen. Sollte als Probe ein Standard verwendet werden, dessen Wahrer Wert bekannt ist, kann dieser in der Zeile darunter eingetragen werden. Der Wahre Wert wird dann in den folgenden Auftragungen mit berücksichtigt. Im Feld rechts daneben befinden sich die berechneten Präzisionskenndaten, auf diese wird im Folgenden näher eingegangen.

Im Bereich Präzisionskenndaten wird als erstes die Anzahl der erhobenen Messwerte angezeigt. Wie bereits erwähnt sollten diese 30 nicht unterschreiten. Darunter befindet sich der kleinste (Minimum) und größte (Maximum) ermittelte Wert im Verlauf der Messreihe, ebenso wie der Mittelwert und die Standardabweichung. Der Anderson-Darling Test ist ein statistischer Test, mit dem festgestellt werden kann, ob die Häufigkeitsverteilung der Daten einer Stichprobe von einer vorgegebenen hypothetischen Wahrscheinlichkeitsverteilung abweicht. In unserem Fall erfolgt der Anpassungstests als Normalitätstest zur Untersuchung einer Stichprobe auf Normalverteilung. Der ermittelte Wert gibt also an ob die erhobenen Messwerte normalverteilt sind und sollte immer unterhalb des Schwellenwerts von 1,035 liegen. Der Performance Index ist eine Maß für die Leistungsfähigkeit des Analysenverfahrens. Ein Wert größer als drei ist optimal und Kennzeichen eines zuverlässigen Verfahrens. Kennwerte kleiner als drei und größer als zwei weisen darauf hin, dass die Abweichungen der Messwerte untereinander nochmals verbessert werden sollten. Werte kleiner als zwei deuten auf ernste Präzisionsprobleme hin, bei einem Performance Index kleiner als eins genügt die Präzision der Methode nicht, um in den Laboralltag überführt zu werden.

In der Auftragung Setup werden die Messwerte in chronologischer Reihenfolge aufgetragen. Ausreißer werden nach dem Verfahren von Grubbs ermittelt und als rote Kreuze hervorgehoben. Ausreißer können im Arbeitsblatt „Setup Data“ über die Spalte „Status“ deaktiviert werden. Dadurch wird der Wert nicht mehr in die Berechnung der Präzisionskenndaten einbezogen und auch aus den Auftragungen entfernt. Innerhalb einer Messreihe sollten so wenig Ausreißer wie möglich vorhanden sein. Wichtig ist bei jedem Ausreißer den Grund genau zu ermitteln und in der Spalte „Kommentar“ zu hinterlegen. Ein qualitativ gutes Analysenverfahren ist im „Setup“ dadurch gekennzeichnet, dass die Messwerte zufällig verteilt erscheinen. Im Bild unten anbei sind typische Auffälligkeiten einer Auftragung im Setup dargestellt.

Eine häufige Auffälligkeiten ist in (a) dargestellt. Hier scheinen die Werte zwischen zwei Größen auf- und abzuspringen. Oft ist das Kennzeichen dafür, dass die Auflösung eines Messgeräts erreicht wurde. Wenn beispielsweise immer das selbe Gewicht auf eine Waage gelegt wird so springt diese zwischen der Präzision und dem Messwert hin und her, z.B. 20,0 g und 20,5 g usw. Da in diesem Fall die Messwerte nicht normalverteilt sind macht eine statistische Auswertung keinen Sinn. Dennoch kann das Verfahren mit einem Performance Index größer drei präzise genug sein.

In (b) ist eine typische Drift dargestellt. Diese kann durch den Detektor oder eine kontinuierliche Probenveränderung entstehen. Eine Drift muss unbedingt genauer untersucht und abgestellt werden. In (c) scheinen die Werte ebenfalls zwischen zwei Bereichen zu schwanken. Oft ist das Kennzeichen für unterschiedliche Arbeitsweisen einzelner Mitarbeiter. In Abbildung (d) scheinen die Werte nach einer Phase der Normalverteilung plötzlich auf einem und dem selben Wert zu verharren. Hier sollte unbedingt das Gerät genauer inspiziert werden, eventuell liegt ein Defekt vor.

Eine weitere sehr nützliche Auftragung ist der qq-Plot, welcher hilft die Verteilung genauer zu untersuchen. Im optimalen Fall hat der qq-Plot einen S-förmigen Verlauf und es liegen in etwa gleich viele Punkte oberhalb wie unterhalb der Linie. Sollten innerhalb der Auftragung Lücken enstehen, dann ist das Anzeichen für eine schlechte Präzision. Eine ausgeprägte Bauchigkeit der Auftragung sollte ebenfalls nicht vorzufinden sein.

Die „Moving Range“ Auftragung gibt in chronologischer Reihenfolge die Unterschiede zwischen zwei Messwerten wieder. Auch hier sollte eine zufällige Verteilung der Punkte zu sehen sein. Im Fall einer Drift kommt es zu einer Ungleichverteilung von Messwerten unterhalb bzw. oberhalb des Ordinaten-Nullpunkts. Gleiches gilt für den Fall (d) aus der Auftragung im Beispiel „Setup“.

Erfassung von Messdaten der Prüfperiode und Interpretation

Nach erfolgreich durchgeführter Untersuchung der Vorperiode schließt sich die Prüfperiode an. Die Erfassung von Messwerten in der Prüfperiode dient der langfristigen Überwachung und Untersuchung des Analysenverfahrens. Im einfachsten Fall können hier auch die Messdaten der Vorperiode in das Arbeitsblatt übernommen werden. Zusätzlich zu den bereits diskutierten Auftragungen wird in der Prüfperiode eine Mittelwert Regelkarte, ein Histogramm und eine CuSum Regelkarte erstellt. In der Mittelwert Regelkarte werden als gelbe und rote Linie die 2s und 3s-Grenzen eingezeichnet, welche jeweils das doppelte und dreifache der ermittelten Standardabweichung darstellen. Alle Messwerte oberhalb der 2s-Grenze sind genauer zu untersuchen, jedoch nicht kritisch. Alle Messwerte oberhalb der 3s-Grenze sind kritische Abweichungen und müssen kommentiert werden sowie Abstellmaßnahmen geprüft werden. Das rechts daneben dargestellte Histogramm hilft bei der Untersuchung auf Normalverteilung, hierbei sollte das Maximum beim Mittelwert liegen und die Verteilung einer Glockenkurve gleichen. Die CuSum Regelkarte summiert die Differenzen zwischen den Messwerten. Die Ausgleichsgerade liegt im optimalen Fall auf der Linie des Mittelwerts, Abweichungen davon sind Hinweis auf eine Drift.

In diesem Beitrag haben Sie also gelesen wie nach erfolgreicher Ermittlung der Verfahrenskenndaten ihr Analysenverfahren, im Praxiseinsatz mittels einer statistischen Qualitätskontrolle,untersucht und Verbesserungspotentiale entdeckt werden können. Im Anschluss an diese Phase zwei schließt für gewöhnlich ein Ringversuch an. Dieser soll in einem weiteren Beitrag genauer erklärt werden.

HINWEIS: Klicken Sie auf den Link um eine PDF Vorschau des Formulars herunterzuladen. Das Arbeitsblatt kann hier heruntergeladen werden.