Blog: Design of Experiments (DOE) in Datalyzer Qualis 4.0 Analytics

Concepten en strategieën van DOE

DOE is niet beperkt tot één enkel type experimentele opzet. De juiste aanpak hangt af van het doel van het experiment en de mate waarin er proceskennis beschikbaar is. Veelvoorkomende doelstellingen zijn onder meer vergelijking, screening, karakterisering, optimalisatie en robuust ontwerp. In de praktijk wordt DOE vaak uitgevoerd als een opeenvolgende strategie op basis van bovengenoemde doelstellingen, in plaats van als één groot experiment.

De fasen van Design of Experiments (DOE)

1. Voorbereidings- en ontwerpfase (opzetten van het experiment)

Tijdens de voorbereidingsfase van Design of Experiments (DOE) wordt het experimentele ontwerp vastgesteld en wordt de ontwerpmatrix opgesteld. In deze fase wordt bepaald hoe het experiment zal worden opgezet, nog voordat er experimentele gegevens worden verzameld.

Bij het opstellen van het DOE worden zowel de factoren als hun niveaus gedefinieerd. Factoren zijn de invoervariabelen die tijdens het experiment opzettelijk worden gewijzigd om hun effecten op de respons te bepalen. Factoren kunnen procesparameters, materiaaleigenschappen, instellingen van apparatuur, omgevingsomstandigheden of andere beïnvloedbare invoervariabelen vertegenwoordigen. Factoren kunnen worden ingedeeld in:

Bij een factoriaal DOE met twee niveaus wordt elke factor doorgaans weergegeven door: -1 = laag niveau en +1 = hoog niveau. De feitelijke fysieke waarden blijven belangrijk, omdat zij de praktische experimentele omstandigheden bepalen. Nadat de factoren en hun niveaus zijn vastgesteld, moet een geschikt experimenteel ontwerp worden gekozen. Voor factoriale experimenten met twee niveaus zijn er twee belangrijke ontwerpopties, die beide worden ondersteund in Datalyzer Qualis 4.0 Analytics:

Zodra het ontwerp is gekozen, wordt het aantal experimentele runs vastgesteld en worden de responsvariabelen gedefinieerd.

De responsvariabele is de uitkomst die bij elke proefrun wordt gemeten. De respons dient een directe weergave te zijn van de prestatiekenmerk dat wordt onderzocht. Voorbeelden hiervan zijn: productsterkte, opbrengst, oppervlakteruwheid, maatnauwkeurigheid, cyclustijd, defectpercentage, enzovoort. In hetzelfde DOE kunnen meerdere responsen worden opgenomen wanneer het experiment bedoeld is om meerdere prestatiekenmerken tegelijkertijd te bestuderen.

Alvorens de definitieve ontwerpmatrix te genereren, moeten er beslissingen worden genomen over de wijze waarop met middelpunten, blokken en herhalingen wordt omgegaan. Deze beslissingen dienen te worden genomen tijdens de ontwerpfase en niet pas nadat de experimentele gegevens zijn verzameld. Vervolgens kunnen de codeniveaus en de willekeurige toewijzing van de proeven worden vastgesteld en kan de ontwerpmatrix worden opgesteld.

Het definitieve ontwerp dient voldoende informatie te bevatten om het experiment op een consistente en traceerbare wijze te kunnen uitvoeren. De definitieve ontwerpmatrix dient normaal gesproken het volgende te bevatten: het nummer van de experimentele run, het nummer van de standaardrun, de gerandomiseerde volgorde van de runs, de namen van de factoren, de gecodeerde waarden en de werkelijke waarden van de factoren, de responsvariabelen, de identificatie van het middelpunt (indien van toepassing), de identificatie van het blok (indien van toepassing) en de identificatie van de herhaling (indien van toepassing).

Alvorens over te gaan tot de experimentele proeven, dient het ontwerp te worden gecontroleerd om te bevestigen dat het doel van het experiment duidelijk is omschreven, dat de responsen meetbaar zijn en dat het vereiste aantal proeven haalbaar is. De definitieve ontwerpmatrix vormt vervolgens het experimentele plan voor de daaropvolgende fase van gegevensverzameling.

Qualis 4.0 Analytics genereert de ontwerpmatrix op basis van de opzet van het experimentele ontwerp en de configuratie-elementen. Vervolgens kan het daadwerkelijke experiment worden uitgevoerd volgens de factorniveaus die in de ontwerpmatrix zijn gespecificeerd.

Figuur 1: Voorbeeldscherm van Qualis 4.0 Analytics: Experiment instellen – Instellingen

2. Gegevensverzameling en validatie

Zodra het experimentele ontwerp en de ontwerpmatrix zijn vastgesteld, worden de experimentele responsgegevens verzameld volgens de geplande experimentele runs. Alvorens over te gaan tot procesmodellering, dienen de verzamelde responsgegevens te worden beoordeeld om vast te stellen of zij voldoen aan de statistische basisvoorwaarden die vereist zijn voor de daaropvolgende analyse. De drie belangrijkste kenmerken die daarbij in aanmerking worden genomen, zijn:

Deze controles bieden een eerste beoordeling van de vraag of de verzamelde gegevens geschikt zijn voor verdere statistische modellering. Een veelvoorkomende interpretatie is:

Check	Method	Desired Result
Randomness	Run test	p-value > 0.05
Randomness	Scatterplot + centerline	No systematic pattern
Normality	Probability plot	Points reasonably follow reference line
Normality	Normality test	p-value > 0.05
Equal Variance	Equal variance test	p-value > 0.05

Deze criteria dienen te worden beschouwd als richtlijnen en niet als automatische regels voor het al dan niet voldoen aan de eisen. De p-waarde dient te worden beoordeeld in samenhang met de bijbehorende grafische evaluatie en het feitelijke gedrag van de gegevens. Indien de gegevens geen substantiële aanwijzingen vertonen voor niet-willekeurigheid, afwijking van de normale verdeling of ongelijke variantie, kan de dataset nog steeds worden gebruikt voor procesmodellering.

Zodra de experimentele gegevens de eerste validatiecontroles hebben doorstaan, is de volgende stap het gebruik van de DOE-gegevens om een wiskundig model van het proces te ontwikkelen.

In Qualis 4.0 Analytics worden de experimentele resultaten ingevoerd in de kolom ‘Response’ van de DOE-ontwerpmatrix; vervolgens wordt de DOE opgeslagen en gaat de software verder met de optimalisatie van het model.

Het modelleringsproces begint niet met het onmiddellijk vaststellen welke factoren van belang zijn. In plaats daarvan worden de experimentele gegevens eerst gebruikt om een geschikt uitgangsmodel op te stellen dat de effecten bevat die op basis van de geselecteerde DOE kunnen worden geschat. Het uitgangsmodel wordt vervolgens geanalyseerd met behulp van regressie en ANOVA om inzicht te krijgen in de bijdrage en de statistische significantie van de modeltermen. Waar nodig wordt het model vereenvoudigd door termen te verwijderen die onvoldoende bewijs leveren dat zij bijdragen aan de respons. Het vereenvoudigde model wordt vervolgens opnieuw geanalyseerd en geëvalueerd totdat een geschikt definitief model is verkregen. Qualis 4.0 Analytics DOE biedt ondersteuning bij het opnieuw analyseren van het model en het opslaan van de resultaten.

De algemene significantie van het model wordt beoordeeld met behulp van ANOVA, waarbij de totale waargenomen variatie in de respons wordt opgesplitst in variatie die door het model wordt verklaard en variatie die aan de fout wordt toegeschreven. De ANOVA-resultaten bieden tevens informatie over de afzonderlijke modeltermen en het statistische bewijs dat aan elke term is verbonden.

Het volgende voorbeeld toont een ANOVA- en modeloverzichtstabel met daarin de geschatte coëfficiënten, standaardfouten, vrijheidsgraden, gecorrigeerde kwadraatsommen, gecorrigeerde gemiddelde kwadraten, F-waarden, p-waarden en statistieken betreffende de modelaanpassing.

Figuur 2: modeloverzicht DOE in qualis analytics

Figuur 3: ANOVA en DOE voor regressievergelijkingen in Qualis Analytics

De tabel bevat diverse gegevens die bij de evaluatie van het model worden gebruikt. De coëfficiënt geeft het geschatte effect van een modelterm weer, terwijl de standaardfout de onzekerheid weergeeft die aan die schatting is verbonden. De vrijheidsgraden, de gecorrigeerde som der kwadraten en het gecorrigeerde gemiddelde kwadraat geven de variatie weer die bij elke bron hoort. De F-waarde vergelijkt de variatie die bij een term hoort met de geschatte foutvariatie, en de bijbehorende p-waarde biedt houvast om te bepalen of de term statistisch significant is.

Alvorens te bekijken hoeveel variatie het model verklaart, is de eerste vraag of het model als geheel voldoende statistisch bewijs levert dat het een significant deel van de variatie in de respons verklaart. Dit wordt beoordeeld aan de hand van de ANOVA-toets voor het totale model. De interpretatie bij een alfaniveau van 0,05 luidt als volgt: p-waarde ≤ 0,05: het model is statistisch significant. p-waarde > 0,05: onvoldoende bewijs dat het totale model statistisch significant is.

Een statistisch significant model geeft aan dat de door het model verklaarde variatie voldoende groot is ten opzichte van de experimentele fout om aan te tonen dat het model bruikbaar is voor het beschrijven van de respons. Het vaststellen dat het model statistisch significant is, geeft echter geen uitsluitsel over de mate waarin de variatie in de respons door het model wordt verklaard, noch over de mate waarin het model naar verwachting nieuwe waarnemingen zal kunnen voorspellen. Deze aspecten worden beoordeeld aan de hand van R², aangepaste R² en voorspelde R², alsmede door middel van een analyse van de afwijking en de residuen.

De resultaten van de voorgaande evaluaties dienen in hun onderlinge samenhang te worden bekeken om te bepalen of het vereenvoudigde model geschikt is om het proces weer te geven. Bij de evaluatie dient rekening te worden gehouden met:

Deze criteria dienen in hun onderlinge samenhang te worden bekeken, in plaats van uitsluitend op één enkel statistisch cijfer te vertrouwen. Een hoge R²-waarde duidt bijvoorbeeld niet automatisch op een adequaat model indien de residuen systematische patronen vertonen of een aanzienlijk gebrek aan aanpassing laten zien. Indien het totale bewijsmateriaal erop wijst dat het model adequaat is, kan het gereduceerde model als definitief model worden aanvaard en worden gebruikt voor de volgende fase van de DOE-analyse.

3. Interpretatie en analyse van modellen (modelanalyse)

Nadat het model is geëvalueerd en als geschikt is bevonden, is de volgende stap het interpreteren van de relatie tussen de factoren en de respons. Het doel van modelinterpretatie is inzicht te verkrijgen in de wijze waarop de factoren de respons beïnvloeden, of de effecten positief of negatief zijn, of factoren onderling een wisselwerking vertonen en hoe de respons varieert binnen het experimentele gebied. De belangrijkste hulpmiddelen die voor interpretatie worden gebruikt, zijn: de hoofd-effectenplot, de interactieplot, de contourplot en de oppervlakteplot.

Grafiek van de hoofdeffecten

Een grafiek met hoofdeffecten laat zien hoe de voorspelde of waargenomen respons verandert naarmate het niveau van één factor verandert, waarbij rekening wordt gehouden met de respons over de verschillende niveaus van de andere factoren. De algemene interpretatie is gebaseerd op de helling van de lijn.

De grootte van de helling geeft een indicatie van de sterkte van het hoofdeffect.

Figuur 4: Grafiek van hoofdeffecten (DOE) in Qualis Analytics

Interactiegrafiek

Een interactiegrafiek wordt gebruikt om vast te stellen of het effect van de ene factor afhankelijk is van het niveau van een andere factor. Neem twee factoren, A en B. Indien het effect van A bij beide niveaus van B ongeveer gelijk is, zijn er weinig aanwijzingen voor een interactie. Indien het effect van A varieert afhankelijk van het niveau van B, kan er sprake zijn van een interactie.

De grafiek kan worden geïnterpreteerd aan de hand van de onderlinge relatie tussen de lijnen:

Als bijvoorbeeld een stijgende temperatuur de respons bij lage druk verbetert, maar bij hoge druk weinig of een negatief effect heeft, is er sprake van een wisselwerking tussen temperatuur en druk. Het volgende voorbeeld illustreert het gebruik van interactiegrafieken om de effecten van de factoren op de respons te interpreteren.

Figuur 5: interactiediagram DOE in qualis analytics

Contourdiagram

Een contourplot is een tweedimensionale grafische weergave die wordt gebruikt om de relatie tussen een responsvariabele en twee invoerfactoren in beeld te brengen. Hierbij worden contourlijnen of gearceerde gebieden gebruikt om gebieden met gelijke of vergelijkbare responswaarden weer te geven. Net als bij een topografische kaart helpt de contourplot gebruikers om het responsoppervlak te visualiseren en trends, pieken, dalen en relevante gebieden te identificeren.

Selecteer in Qualis Analytics de optie ‘Contourplot’ in het veld ‘Plottype’ om een contourplot te genereren. Gebruikers kunnen kiezen om ‘Alle plots’ of een ‘Enkele plot’ te genereren.

Figuur 6: Contourdiagram van een DOE in Qualis Analytics

Oppervlaktediagram

Een oppervlakteplot biedt een driedimensionale weergave van de geschatte respons ten opzichte van twee factoren. De twee factoren worden weergegeven door de horizontale assen, terwijl de voorspelde respons wordt weergegeven door de verticale as. Het resulterende oppervlak laat zien hoe de respons verandert naarmate de twee factoren gelijktijdig veranderen. De vorm van het oppervlak kan informatie verschaffen over: de richting van de verandering in de respons, de sterkte van de factoreffecten, de interactie tussen factoren, pieken en dalen en de kromming, voor zover deze door het aangepaste model worden weergegeven.

De oppervlakteplot biedt derhalve een visuele interpretatie van het wiskundige model. Het volgende voorbeeld laat zien hoe een oppervlakteplot kan worden gebruikt om het responsoppervlak en de relatie tussen de factoren te visualiseren.

Figuur 7: oppervlakteplot van het DOE in qualis analytics

4. Modeloptimalisatie en voorspelling

Nadat het model is geëvalueerd en geïnterpreteerd, bestaat de laatste stap erin het model te gebruiken om de gewenste factorinstellingen te bepalen, de verwachte respons te voorspellen en de voorspelling vervolgens te bevestigen aan de hand van een daadwerkelijk experiment.

Modelvalidatie in Qualis 4.0 Analytics wordt gebruikt om de optimale factorinstellingen te bepalen op basis van het geschatte model en de gewenste respons. Gebruikers kunnen het type optimalisatie selecteren, afhankelijk van of de respons een specifieke streefwaarde moet bereiken, gemaximaliseerd of geminimaliseerd moet worden. In Qualis 4.0 Analytics worden drie soorten optimalisatie ondersteund: 1. Doelrespons – bepaalt de factorinstellingen waarmee een gewenste streefwaarde voor de respons wordt bereikt. 2. Respons maximaliseren – bepaalt de factorinstellingen waarmee de respons wordt gemaximaliseerd. 3. Respons minimaliseren – bepaalt de factorinstellingen waarmee de respons wordt geminimaliseerd.

Het resultaat van de modeloptimalisatie bestaat uit voorspelde factoren/invoerwaarden waarmee het geselecteerde optimalisatiedoel kan worden bereikt. Ook wordt het betrouwbaarheidsinterval (95%) weergegeven om de onzekerheid aan te geven die aan de modelvoorspelling verbonden is.

Figuur 8: Modeloptimalisatie – Voorspelde invoerwaarden – DOE in Qualis Analytics

Het wordt aanbevolen om na te gaan of het daadwerkelijke proces een uitkomst oplevert die overeenkomt met de voorspelling van het model, door een bevestigingsexperiment uit te voeren met de definitieve factorinstellingen zoals weergegeven in de modelvalidatie.

Het resultaat dient te worden geïnterpreteerd in het licht van de voorspellingsonzekerheid en de verwachte procesvariatie, in plaats van uitsluitend uit te gaan van het procentuele verschil. Indien het werkelijke resultaat redelijk overeenkomt met de voorspelling en voldoet aan de gewenste responsdoelstelling, kunnen het model en de gekozen bedrijfsomstandigheden als bevestigd worden beschouwd.

Slotopmerking

Indien u geïnteresseerd bent om aan de slag te gaan met DOE, op zoek bent naar een hulpmiddel ter ondersteuning van uw DOE-experimenten, of DOE wilt vergelijken met Machine Learning – dat eveneens beschikbaar is in Analytics – neem dan contact op met Datalyzer. Datalyzer ondersteunt klanten door Six Sigma-trainingen aan te bieden, waaronder DOE, en wij verstrekken aanvullende documentatie en informatie over de onderzoeken in de Qualis 4.0 Analytics-gebruikershandleiding.