Analyse van meetsystemen voor attributieve data: Cohen’s Kappa

Inleiding

Measurement System Analysis (MSA) is tegenwoordig zeer bekend in de industrie. Maar als we het over MSA studies hebben, bedoelen we meestal onderzoek naar de herhaalbaarheid en reproduceerbaarheid van meetsystemen (R&R). Tijdens inspecties vertrouwen we echter nog steeds vaak op visuele inspectie, hoewel we weten dat visuele inspectie geen betrouwbare methode is om kwaliteit te inspecteren.

In FMEA moeten we voor detectie bijvoorbeeld minstens een 6 (matig) op 10 geven als de MSA studies met goede resultaten zijn uitgevoerd, maar vaker is het een 7 of 8 (laag detectiepercentage).

Tijdens MSA trainingssessies hebben we honderden experimenten gedaan waarbij mensen een specifieke letter in een stuk tekst moesten tellen. Deze snelle test onder tijdsdruk (slechts 10 tot 15 seconden toegestaan) toonde aan dat beoordelaars niet in staat waren om het juiste aantal letters in een eenvoudige tekst te vinden. In dit scenario van het experiment is er geen verwarring over “wat is een defect en wat niet” en de inspecteurs waren nog vol energie. Toch kwamen de meeste beoordelaars niet tot de juiste conclusie. Uitzonderingen waren mensen uit de grafische industrie die zeer ervaren zijn in visuele inspectie en significant beter scoorden op deze test.

Als een leverancier beweert dat hij geen defecten levert omdat hij 100% visuele inspectie doet, moet de eerste vraag zijn: Wat is het percentage defecten dat gevonden wordt? De ervaring leert dat ten minste 20% van de defecten die gevonden worden, aan klanten geleverd worden.

Er kan een beter beeld van het risico worden gevormd als er een attribute MSA studie wordt uitgevoerd. In deze blog beschrijven we hoe een attribute studie kan worden uitgevoerd met Datalyzer Qualis Gage management software en wat u moet overwegen om een studie op te zetten.

Inrichten van de Attribute Studie

Het belangrijkste onderdeel van een attribute studie is het opzetten en organiseren van hoe de studie uitgevoerd moet worden. Typisch moet u bij een attribute studie tussen de 20 en 80 producten in het onderzoek hebben. De eerste discussie is hoe u vaststelt wat een goed of slecht product is. Met een attribute meetinstrument kunt u het product meten met een variabele hoofdmeter, maar met visuele inspectie is dat niet mogelijk.

U hebt een “deskundig” team nodig om vast te stellen wat een goed en wat een slecht product is. Als u 50 producten kiest die duidelijk goed of slecht zijn, dan zullen de resultaten altijd goed zijn. Als u 50 producten kiest waarover zelfs experts van mening verschillen, dan kunt u verwachten dat de onderzoeksresultaten altijd slecht zullen zijn. Het is belangrijk dat u een goede set producten kiest waarbij misschien maar een paar producten discutabel zijn.

Een visuele inspectie kan over een heleboel dingen gaan. In de omvang van het onderzoek moet u bepalen of u meerdere defecten combineert of slechts één specifiek defect in het onderzoek gebruikt. Normaal gesproken moet een onderzoek representatief zijn, dus is het beter om meerdere defecten in het onderzoek te gebruiken. En het onderzoek moet worden uitgevoerd onder vergelijkbare omstandigheden als in de productie.

Bijvoorbeeld: een klant voerde een visuele inspectie van spuiten uit op een machine met specifiek tegenlicht op hoge snelheid. In dat geval kunt u de taxateurs geen set spuiten in een kantoor aanbieden en hen vragen om ze te inspecteren, want dat is niet representatief.

Wat we in dat geval deden, was de spuiten markeren met een fluorescerende marker en de testspuiten tijdens de normale inspectie opnemen en de spuiten na de inspectie filteren. Wanneer u een onderzoek uitvoert, probeer dan het onderzoek uit te voeren onder dezelfde omstandigheden en vooral binnen dezelfde tijd als de inspecteur normaal gesproken heeft.

Het opzetten van een goede testset van producten kost tijd. Het probleem is dat wanneer u dit onderzoek regelmatig uitvoert, u ervoor moet zorgen dat de studieresultaten niet algemeen bekend zijn in het bedrijf. Als u feedback geeft over wat een inspecteur precies heeft gemist, weet de volgende inspecteur precies waar hij naar moet zoeken in een onderzoek, waardoor uw testset waardeloos wordt. Een onderzoek moet volledig blind worden uitgevoerd, dus zorg ervoor dat de identificatie van het product niet duidelijk is voor de inspecteur

Het laatste punt is dat u het test product mogelijk opnieuw moet “kalibreren” na een onderzoek. Een product kan tijdens een onderzoek beschadigd of vies worden en een product dat als “Goed” wordt beoordeeld, kan door inspecteurs correct als “Slecht” worden beoordeeld omdat het tijdens het onderzoek beschadigd of vies werd. Dit is vooral van toepassing als u een hoger aantal valse alarmen hebt dan u verwacht.

De resultaten vastleggen en analyseren

De onderstaande methode is volgens het AIAG MSA handboek 4e editie. Typisch inspecteerden 3 beoordelaars de 50 producten 3 keer. De producten worden in een willekeurige volgorde geïnspecteerd. Voor elk product voeren we de referentiewaarde in die 0 is voor een afgekeurd product en 1 voor een goed product.

Voor elk product krijgen we dus 9 inspectieresultaten. Als alle inspectieresultaten een afkeur zijn en overeenkomen met de referentiewaarde, krijgen we een – teken in de codekolom. Als alle inspectieresultaten een geaccepteerd product zijn en overeenkomen met de referentiewaarde, krijgen we een + teken in de codekolom. Als er een meting afwijkt van de referentiewaarde, zien we een X in de codekolom. Onderaan het blad zien we het aantal goedkeuringen en afkeuringen per inspecteur.