Die Messsystemanalyse Typ 2 attributiv dient dazu, die Eignung eines Bewertungssystems zu beurteilen, wenn Ergebnisse nicht als stetige Messwerte, sondern als Kategorien erfasst werden.
Typische Beispiele sind Bewertungen wie gut/schlecht, i. O./n. i. O., bestanden/nicht bestanden oder Hot/Warm/Cold.
Im Fokus stehen die Wiederholbarkeit und die Reproduzierbarkeit der Bewertungen. Wiederholbarkeit bedeutet, dass derselbe Prüfer dasselbe Teil bei wiederholter Bewertung gleich einstuft. Reproduzierbarkeit bedeutet, dass unterschiedliche Prüfer dasselbe Teil gleich bewerten.
Wenn ein Standard bzw. eine Expertenbewertung vorhanden ist, wird zusätzlich geprüft, ob die Bewertungen der Prüfer mit dieser Referenz übereinstimmen.
Damit beantwortet die MSA Typ 2 attributiv drei zentrale Fragen:
- Bewertet ein Prüfer bei Wiederholung gleich?
- Bewerten verschiedene Prüfer gleich?
- Stimmen die Bewertungen mit dem fachlich richtigen Standard überein?
Für die MSA Typ 2 attributiv wird die Sichtprüfung der Etiketten von abgefüllten Tomatengläsern untersucht. Mehrere Mitarbeiter beurteilen, ob das Etikett korrekt angebracht ist.
Die Bewertung erfolgt in zwei Zuständen:
| Zustand | Bedeutung |
|---|---|
| g | Etikett ist korrekt positioniert, lesbar und unbeschädigt |
| s | Etikett ist schief, beschädigt, unlesbar, fehlt oder falsch angebracht |
Für die Analyse werden 50 Tomatengläser aus der laufenden Produktion ausgewählt. Drei Prüfer bewerten jedes Glas zweimal. Zusätzlich legt ein erfahrener Qualitätsprüfer für jedes Glas eine Referenzbewertung als Standard fest.
Die Daten werden anschließend in AlphadiTab mit der MSA Typ 2 attributiv ausgewertet.
Interpretation:
Die Analyse zeigt, ob die Etikettenprüfung einheitlich und wiederholbar erfolgt. Eine hohe Übereinstimmung bedeutet, dass die Prüfer die Kriterien für g und s vergleichbar anwenden. Liegt die Gesamtübereinstimmung unter 95 %, sollten die Prüfkriterien geschärft, Grenzfälle definiert und die Prüfer gemeinsam kalibriert werden.
Linkes Bild
Das linke Diagramm zeigt die Übereinstimmung innerhalb der Prüfer.
- Jeder Balken steht für einen Prüfer bzw. Operator.
- Die Balkenhöhe zeigt, bei welchem Anteil der Teile der Prüfer in seinen Wiederholungen dieselbe Bewertung abgegeben hat.
- Die Fehlerbalken zeigen das 95%-Konfidenzintervall.
Eine hohe Übereinstimmung bedeutet, dass der Prüfer seine eigene Bewertung zuverlässig wiederholen kann. Niedrige Werte weisen auf unsichere Bewertungskriterien, schwierige Grenzfälle oder Schulungsbedarf hin.
Mittleres Bild
Wenn ein Standard bzw. eine Expertenbewertung angegeben wurde, zeigt das mittlere Diagramm die Übereinstimmung jedes Prüfers mit dem Standard.
- Jeder Balken steht für einen Prüfer im Vergleich zum Standard.
- Die Balkenhöhe zeigt den Anteil der Teile, bei denen alle Bewertungen dieses Prüfers mit dem Standard übereinstimmen.
- Die Fehlerbalken zeigen das Konfidenzintervall dieser Übereinstimmung.
Dieses Diagramm ist besonders wichtig, wenn bekannt ist, welche Bewertung fachlich richtig ist. Ein Prüfer kann intern sehr wiederholbar sein, aber trotzdem systematisch vom Standard abweichen.
Rechtes Bild
Das rechte Diagramm zeigt die zusammenfassende Gesamtübereinstimmung als Ampel.
- Mit Standard: Gesamtübereinstimmung aller Prüfer mit dem Standard.
- Ohne Standard: Gesamtübereinstimmung zwischen den Prüfern.
- Grün: Gesamtübereinstimmung mindestens 95 %.
- Rot: Gesamtübereinstimmung unter 95 %.
Die Ampel ist eine schnelle Entscheidungshilfe. Sie ersetzt jedoch nicht die Detailanalyse der einzelnen Prüfer und der Kappa-Kennzahlen.
AlphadiTab stellt die Ergebnisse in mehreren Tabellen dar. Je nach Einstellung können zusätzlich Fleiss’ Kappa und Cohen’s Kappa eingeblendet werden.
Within operator – Agreement
Diese Tabelle bewertet die Wiederholbarkeit innerhalb jedes Prüfers. Sie zeigt, wie viele Teile geprüft wurden, bei wie vielen Teilen die Wiederholungen übereinstimmen und wie hoch der prozentuale Anteil inklusive 95%-Konfidenzintervall ist.
Each operator vs Standard – Agreement
Diese Tabelle wird angezeigt, wenn eine Standard- oder Expertenspalte vorhanden ist. Sie zeigt für jeden Prüfer, wie häufig seine Bewertungen vollständig mit dem Standard übereinstimmen.
Each operator vs Standard – Disagreement
Diese Tabelle zeigt die Art der Abweichungen vom Standard. Bei einer g/s-Bewertung bedeutet:
- s vs g: Ein gutes Teil wird als schlecht bewertet.
- g vs s: Ein schlechtes Teil wird als gut bewertet.
- Gemischt: Ein Prüfer bewertet dasselbe Teil in den Wiederholungen unterschiedlich.
Between operators – Agreement
Diese Tabelle zeigt, bei welchem Anteil der Teile alle Prüfer zur gleichen Bewertung kommen. Sie wird auch berechnet, wenn kein Standard vorhanden ist.
All Operators vs Standard – Agreement
Diese Tabelle fasst die Übereinstimmung aller Prüfer mit dem Standard zusammen. Wenn ein Standard vorhanden ist, bildet sie die Grundlage für die Ampel.
Fleiss’ Kappa und Cohen’s Kappa
In AlphadiTab können zusätzlich zu den prozentualen Übereinstimmungen auch Kappa-Kennzahlen eingeblendet werden. Kappa-Kennzahlen berücksichtigen, dass ein Teil der Übereinstimmung auch zufällig entstehen kann.
Werte nahe 1 sprechen für eine sehr gute Übereinstimmung. Werte nahe 0 bedeuten, dass die Übereinstimmung kaum besser ist als zufällig. Negative Werte weisen auf eine schlechtere Übereinstimmung hin, als zufällig zu erwarten wäre.
Fleiss’ Kappa wird vor allem verwendet, wenn mehrere Prüfer oder mehrere Bewertungen pro Teil vorliegen. Cohen’s Kappa wird für Vergleiche zwischen zwei Bewertungen verwendet. In AlphadiTab wird Cohen’s Kappa nur ausgegeben, wenn die dafür erforderlichen Datenbedingungen erfüllt sind.
Die Kappa-Werte sollten ergänzend zu den Prozentwerten betrachtet werden, besonders wenn die Kategorien unausgewogen verteilt sind.
Vorarbeit
- Ein attributives Bewertungsmerkmal auswählen, zum Beispiel Teil gut/schlecht.
- Die erlaubten Antwortkategorien eindeutig festlegen.
- Mehrere Teile auswählen, die den relevanten Bewertungsbereich abdecken.
- Wenn möglich einen fachlich richtigen Standard durch Expertenentscheidung festlegen.
- Mehrere Prüfer auswählen, die die Bewertung auch im Alltag durchführen.
- Anzahl der Wiederholungen je Prüfer festlegen, typischerweise zwei Wiederholungen.
- Bewertungsbedingungen, Prüfanweisung und Hilfsmittel konstant halten.
- Das Arbeitsblatt für die MSA Typ 2 attributiv erstellen. Dies kann direkt in AlphadiTab erfolgen.
- Bewertungen durchführen: Die Reihenfolge der Teile sollte nach Möglichkeit zufällig sein; Wiederholungen eines Prüfers sollten zeitlich getrennt erfolgen.
Nutzung in AlphadiTab
- In der Measure-Phase die Funktion MSA Typ 2 attributiv aufrufen.
- In der Spalte Operator den Prüfer angeben.
- In der Spalte Part die Teil- oder Fallnummer angeben.
- In der Spalte Measurements die attributive Bewertung auswählen.
- Optional in der Spalte Expert den bekannten Standard bzw. die Expertenbewertung auswählen.
- Das Konfidenzniveau festlegen, standardmäßig 0,95.
- Optional Fleiss’ Kappa und/oder Cohen’s Kappa einblenden.
- Mit Aktualisieren bestätigen.
Interpretation
- Gesamtübereinstimmung ≥ 95 %: Das Bewertungssystem ist insgesamt akzeptabel.
- Übereinstimmung innerhalb des Prüfers: Die Prüfer bewerten ein und dasselbe Teil gleich.
- Übereinstimmung Prüfer vs. Experte: Die Prüfer bewerten fachlich richtig im Vergleich zum Standard.
- Übereinstimmung innerhalb der Prüfer: Die Prüfer kommen untereinander zu denselben Bewertungen.
- Kappa-Werte ergänzend prüfen: Besonders wichtig bei unausgewogener Verteilung der Kategorien.
Sichtprüfung Tomatensoße - Maschine A, Maschine B und Maschine C
In der Produktion werden verpackte Produkte nach dem Verschließen geprüft. Es soll untersucht werden, ob mehrere Prüfer dieselben Siegelnähte einheitlich bewerten.
Die Bewertung erfolgt in zwei Zuständen:
| Zustand | Bedeutung |
|---|---|
| i. O. | Siegelnaht ist vollständig geschlossen, gleichmäßig und ohne sichtbare Fehler |
| n. i. O. | Siegelnaht ist offen, beschädigt, verschmutzt, faltig oder unvollständig verschlossen |
Für die MSA Typ 2 attributiv bewerten drei Prüfer dieselben Verpackungen jeweils zweimal. Zusätzlich legt ein erfahrener Qualitätsprüfer für jede Verpackung eine Referenzbewertung als Standard fest.
Infos zum Arbeitsblatt
Das Arbeitsblatt wurde in AlphadiTab vorbereitet. Dabei wurden die Standardwerte für Teileanzahl, Prüferanzahl und Wiederholungen übernommen und anschließend mit "Neu erstellen" ein Arbeitsblatt erzeugt. In diesem Arbeitsblatt werden die Bewertungen der Prüfer dokumentiert.
Anschließend wird die Analyse in AlphadiTab durchgeführt. Die Spalten für Part, Operator, Measurement und Expert werden automatisch erkannt, wenn das Arbeitsblatt zuvor in AlphadiTab erstellt wurde.
Interpretation:
Die MSA Typ 2 attributiv zeigt, dass die Siegelnahtprüfung nicht ausreichend zuverlässig erfolgt. Die Gesamtübereinstimmung liegt nur bei 42 % und damit deutlich unter der geforderten Grenze von 95 %.
Das Bewertungssystem ist in dieser Form nicht geeignet. Die Prüfer wenden die Kriterien für i. O. und n. i. O. nicht einheitlich genug an oder weichen vom Standard ab.
Als Maßnahmen sollten typische Fehlerbilder definiert, Grenzmuster festgelegt und die Prüfer gemeinsam geschult bzw. kalibriert werden. Anschließend sollte die MSA wiederholt werden.
Ticketklassifikation im Helpdesk
Im IT-Service-Desk werden eingehende Tickets klassifiziert, zum Beispiel als Incident, Service Request oder Berechtigungsanfrage. Es soll geprüft werden, ob mehrere Helpdesk-Mitarbeiter dieselben Tickets einheitlich klassifizieren.
Mehrere Helpdesk-Mitarbeiter bewerten dieselben Beispiel-Tickets jeweils zweimal. Ein erfahrener IT-Koordinator legt für jedes Ticket die Standardklassifikation fest.
Interpretation:
Die Auswertung zeigt, dass die Mitarbeiter ihre eigene Klassifikation weitgehend wiederholen können. Die Übereinstimmung mit dem Standard ist jedoch bei einem Prüfer zu niedrig.
Das bedeutet: Der Prüfer bewertet zwar relativ konstant, ordnet einige Tickets aber nicht der fachlich richtigen Kategorie zu.
Als Maßnahme sollten die Entscheidungskriterien für die Ticketarten geschärft und typische Grenzfälle in die Arbeitsanweisung aufgenommen werden.
Einstufung der Leadqualität
Im Vertrieb werden eingehende Leads von mehreren Vertriebsmitarbeitern bewertet. Es soll geprüft werden, ob die Mitarbeiter dieselben Leads einheitlich nach ihrer Leadqualität einstufen.
Die Bewertung erfolgt in drei Klassen:
| Zustand | Bedeutung |
|---|---|
| Hot | Konkreter Bedarf, hohe Kaufwahrscheinlichkeit, Budget oder Entscheidungsnähe erkennbar |
| Warm | Interesse vorhanden, aber Bedarf, Budget oder Zeitpunkt noch nicht eindeutig geklärt |
| Cold | Kein konkreter Bedarf, geringe Passung oder aktuell keine erkennbare Kaufabsicht |
Für die MSA Typ 2 attributiv bewerten drei Vertriebsmitarbeiter dieselben Leads jeweils zweimal. Zusätzlich legt ein Sales Manager für jeden Lead eine Referenzbewertung als Standard fest.
Interpretation:
Die MSA Typ 2 attributiv zeigt, ob die Leadbewertung einheitlich und wiederholbar erfolgt.
Eine hohe Übereinstimmung innerhalb der Vertriebsmitarbeiter bedeutet, dass die Mitarbeiter ihre eigene Bewertung stabil wiederholen können. Eine hohe Übereinstimmung mit dem Standard zeigt, dass die Einstufung als Hot, Warm oder Cold auch fachlich richtig erfolgt.
Bei niedriger Übereinstimmung sollten die Kriterien für die drei Leadklassen genauer beschrieben werden. Besonders bei Warm Leads können Grenzfälle auftreten, da Interesse vorhanden ist, Bedarf, Budget oder Zeitpunkt aber noch unklar sind.
Kommissionierprüfung im Logistikzentrum
In der Logistik werden Kundenaufträge nach der Kommissionierung geprüft. Die Prüfer bewerten, ob ein Auftrag i. O. oder n. i. O. ist. Ein Auftrag ist n. i. O., wenn ein Artikel sichtbare Beschädigungen hat.
Mehrere Prüfer bewerten dieselben vorbereiteten Aufträge jeweils zweimal. Ein Standard wird durch eine vorgelagerte Referenzprüfung festgelegt.
Interpretation:
Die Gesamtübereinstimmung aller Prüfer mit dem Standard liegt unter 95 %. Die Ampel ist daher rot.
Die Detailtabelle zeigt, dass insbesondere g vs s-Abweichungen auftreten. Das bedeutet, dass fehlerhafte Aufträge teilweise als gut bewertet werden.
Diese Abweichungsart ist kritisch, weil fehlerhafte Sendungen zum Kunden gelangen können. Vor der weiteren Nutzung der Prüfdaten sollten Prüfanweisung, Checkliste und Schulung verbessert werden.
Wareneingangsprüfung von Lieferantenteilen
Im Einkauf bzw. Wareneingang werden Bauteile von mehreren Lieferanten visuell und funktional bewertet. Die Prüfer entscheiden, ob ein Teil angenommen oder gesperrt wird.
Für die MSA Typ 2 attributiv werden Teile mit bekannten Fehlerbildern und fehlerfreie Teile ausgewählt. Die Standardbewertung wird durch Qualitätssicherung und technische Fachabteilung festgelegt.
Interpretation:
Die Prüfer zeigen eine gute Wiederholbarkeit, die Übereinstimmung mit dem Standard ist jedoch bei einem Prüfer zu niedrig.
Die Tabelle Each operator vs Standard – Disagreement zeigt, dass gute Teile mehrfach als schlecht bewertet wurden.
Diese Abweichung führt in der Regel nicht direkt zu einem Kundenrisiko, kann aber unnötige Sperrungen, Nachprüfungen und Lieferantenreklamationen verursachen.
Als Maßnahme sollten Grenzmuster und Fehlerbilder gemeinsam mit den Prüfern besprochen und kalibriert werden.
Bewertung von Prognoseabweichungen
In der Produktionsplanung werden Prognosen nachträglich bewertet. Die Planer ordnen jeden Fall einer Ampelklasse zu:
- grün = akzeptable Abweichung
- gelb = kritisch
- rot = nicht akzeptabel
Da diese Bewertung von Personen vorgenommen wird, sollte geprüft werden, ob die Planer die Fälle einheitlich einstufen. Ein Standard kann durch feste Schwellenwerte oder durch eine Expertenrunde festgelegt werden.
Interpretation:
Die MSA zeigt, dass eindeutige grüne und rote Fälle weitgehend einheitlich bewertet werden. Bei gelben Grenzfällen treten jedoch häufiger Abweichungen auf.
Die Ampellogik sollte daher präzisiert werden, zum Beispiel durch klare Schwellenwerte und zusätzliche Beispiele für Grenzfälle. Anschließend sollte die MSA wiederholt werden.
Die MSA Typ 2 attributiv basiert vor allem auf Anteilen der Übereinstimmung und auf Kappa-Kennzahlen.
Die in AlphadiTab ausgegebenen Konfidenzintervalle zeigen die Unsicherheit der geschätzten Übereinstimmungsanteile. Bei kleinen Stichproben oder unausgewogener Verteilung der Kategorien werden die Intervalle breiter.