Messsystemanalyse für Attributdaten: Cohens Kappa

Einführung

Studien zur Messsystemanalyse (Measurement System Analysis, MSA) sind heutzutage in der Industrie sehr bekannt. Aber wenn wir über MSA-Studien sprechen, meinen wir meistens Studien zur Wiederholbarkeit und Reproduzierbarkeit von Messgeräten (R&R). Bei der Inspektion verlassen wir uns jedoch immer noch häufig auf die Sichtprüfung, obwohl wir wissen, dass die Sichtprüfung keine zuverlässige Methode zur Qualitätskontrolle ist.

In der FMEA müssen wir beispielsweise die Erkennung mindestens mit 6 (mäßig) von 10 bewerten, wenn die MSA-Attributstudien mit guten Ergebnissen durchgeführt wurden, aber häufiger ist es eine 7 oder 8 (geringe Erkennungsrate).

Während der MSA-Schulungen haben wir Hunderte von Experimenten durchgeführt, bei denen die Teilnehmer einen bestimmten Buchstaben in einem Text zählen mussten. Dieser schnelle Test unter Zeitdruck (nur 10 bis 15 Sekunden waren erlaubt) zeigte, dass die Gutachter in der Lage waren, die richtige Anzahl von Buchstaben in einem einfachen Text zu finden. In diesem Versuchsszenario gibt es keine Verwirrung darüber, was ein Fehler ist und was nicht, und die Gutachter waren nicht müde. Dennoch kamen die meisten Gutachter nicht zu dem richtigen Ergebnis. Ausnahmen waren Personen aus der Druckindustrie, die in der visuellen Inspektion sehr erfahren sind und bei diesem Test deutlich besser abschnitten.

Wenn ein Lieferant behauptet, dass er keine Mängel liefert, weil er eine 100%ige Sichtprüfung durchführt, sollte die erste Frage lauten: Wie hoch ist Ihre Fehlerquote? Aus Erfahrung kann man sagen, dass mindestens 20% der gefundenen Mängel an den Kunden geliefert werden.

Eine bessere Vorstellung über das Risiko lässt sich ermitteln, wenn eine Attribut-MSA-Studie durchgeführt wird. In diesem Blog beschreiben wir, wie eine Attributstudie mit der Datalyzer Qualis Gage Management Software durchgeführt werden kann und was Sie bei der Erstellung einer Studie beachten müssen.

Einrichten der Studie

Der wichtigste Teil einer Attributstudie ist die Festlegung und Organisation der Durchführung der Studie. Normalerweise müssen Sie bei einer Attributstudie zwischen 20 und 80 Produkte in die Studie aufnehmen. Die erste Frage ist, wie Sie feststellen können, was ein gutes oder schlechtes Produkt ist. Bei einer Attributprüfung können Sie das Produkt mit einer variablen Meisterlehre messen, aber bei einer Sichtprüfung ist das nicht möglich.

Sie brauchen ein „Experten“-Team, um festzustellen, was ein gutes und was ein schlechtes Produkt ist. Wenn Sie 50 Produkte auswählen, die eindeutig gut oder schlecht sind, werden die Ergebnisse immer großartig sein. Wenn Sie 50 Produkte auswählen, die selbst unter Experten umstritten sind, können Sie davon ausgehen, dass die Studienergebnisse immer schlecht ausfallen werden. Es ist wichtig, dass Sie eine gute Auswahl an Produkten treffen, von denen vielleicht nur einige wenige strittig sind.

Eine visuelle Inspektion kann sich auf eine Vielzahl von Punkten beziehen. Beim Umfang der Studie müssen Sie festlegen, ob Sie mehrere Mängel kombinieren oder nur einen bestimmten Mangel in der Studie verwenden. Normalerweise sollte eine Studie repräsentativ sein, daher ist es besser, wenn Sie mehrere Mängel in die Studie aufnehmen. Und die Studie sollte unter ähnlichen Bedingungen wie in der Produktion durchgeführt werden.

Ein Beispiel: Ein Kunde hat eine visuelle Inspektion von Spritzen auf einer Maschine mit speziellem Gegenlicht bei hoher Geschwindigkeit durchgeführt. In diesem Fall können Sie den Gutachtern nicht einen Satz Spritzen in einem Büro anbieten und sie bitten, diese zu inspizieren, denn das ist nicht repräsentativ.

In diesem Fall markierten wir die Spritzen mit einem fluoreszierenden Marker und nahmen die Testspritzen während der normalen Inspektion mit und filterten die Spritzen nach der Inspektion. Wenn Sie eine Studie durchführen, versuchen Sie, die Studie unter den gleichen Umständen und vor allem innerhalb der gleichen Zeit durchzuführen, die der Gutachter normalerweise hat.

Der Aufbau einer geeigneten Testreihe von Produkten braucht Zeit. Das Problem ist, wenn Sie diese Studie regelmäßig durchführen, müssen Sie dafür sorgen, dass die Ergebnisse der Studie im Unternehmen nicht bekannt werden. Wenn Sie Feedback geben, was ein Gutachter genau vermisst hat, weiß der nächste Gutachter genau, wonach er in einer Studie suchen muss, was Ihren Testsatz wertlos macht. Eine Studie muss völlig blind durchgeführt werden. Stellen Sie also sicher, dass die Identifizierung des Produkts für den Gutachter nicht eindeutig ist.

Der letzte Punkt ist, dass Sie das Testmuster nach einer Studie möglicherweise „rekalibrieren“ müssen. Ein Produkt kann während einer Studie beschädigt oder verschmutzt werden. Ein Produkt, das als „gut“ eingestuft wurde, wird von den Gutachtern möglicherweise korrekt als „schlecht“ eingestuft, weil es während der Studie beschädigt oder verschmutzt wurde. Dies gilt vor allem dann, wenn Sie eine höhere Anzahl von Fehlalarmen haben, als Sie erwarten.

Aufzeichnen und Analysieren der Ergebnisse

Die folgende Methode entspricht dem AIAG MSA-Handbuch, 4. Auflage. In der Regel haben 3 Gutachter die 50 Produkte 3 Mal inspiziert. Die Produkte werden in beliebiger Reihenfolge inspiziert. Für jedes Produkt geben wir den Referenzwert ein, der 0 für Ausschuss und 1 für ein gutes Produkt ist.

Für jedes Produkt erhalten wir also 9 Prüfergebnisse. Wenn alle Inspektionsergebnisse ein Ausschuss sind und mit dem Referenzwert übereinstimmen, erhalten wir ein – Zeichen in der Code-Spalte. Wenn alle Ergebnisse ein akzeptiertes Produkt sind und mit dem Referenzwert übereinstimmen, erhalten Sie ein + Zeichen in der Code-Spalte. Wenn eine Messung vom Referenzwert abweicht, sehen wir ein X in der Codespalte. Im unteren Teil des Blattes sehen Sie die Anzahl der akzeptierten und abgelehnten Produkte pro Gutachter.