Blog: So nutzen Sie die Versuchsplanung (DOE) in Datalyzer Qualis 4.0 Analytics

Konzepte und Strategien des DOE

DOE ist nicht auf eine einzige Art von Versuchsplanung beschränkt. Der geeignete Ansatz hängt vom Ziel des Experiments und dem Umfang der verfügbaren Prozesskenntnisse ab. Zu den gängigen Zielen zählen Vergleich, Screening, Charakterisierung, Optimierung und robuste Versuchsplanung. In der Praxis wird DOE häufig nicht als ein einziges großes Experiment, sondern als sequenzielle Strategie auf der Grundlage der oben genannten Ziele durchgeführt.

Die phasen der versuchsplanung (DOE)

1. Vorbereitungs- und entwurfsphase (versuchsaufbau)

In der Vorbereitungsphase der Versuchsplanung (Design of Experiments, DOE) wird das Versuchsdesign festgelegt und die Versuchsmatrix erstellt. In dieser Phase wird festgelegt, wie das Experiment aufgebaut sein soll, bevor Versuchsdaten erhoben werden.

Bei der Erstellung des DOE werden die Faktoren sowie deren Ausprägungen definiert. Faktoren sind die Eingangsvariablen, die während des Experiments gezielt verändert werden, um deren Auswirkungen auf die Reaktion zu ermitteln. Faktoren können Prozessparameter, Materialeigenschaften, Geräteeinstellungen, Umgebungsbedingungen oder andere steuerbare Einflussgrößen darstellen. Faktoren lassen sich wie folgt klassifizieren:

Bei einem zweistufigen faktoriellen DOE wird jeder Faktor üblicherweise wie folgt dargestellt: -1 = niedriges Niveau und +1 = hohes Niveau. Die tatsächlichen physikalischen Werte behalten ihre Bedeutung, da sie die praktischen Versuchsbedingungen definieren. Nach der Festlegung der Faktoren und ihrer Stufen muss ein geeignetes Versuchsdesign ausgewählt werden. Für zweistufige faktoriellen Versuche gibt es zwei wichtige Designoptionen, die beide in Datalyzer Qualis 4.0 Analytics unterstützt werden:

Sobald das Versuchsdesign ausgewählt ist, wird die Anzahl der Versuchsdurchläufe festgelegt und die Antwortvariablen werden definiert.

Die Antwortvariable ist der bei jedem Versuchsdurchlauf gemessene Messwert. Die Antwort sollte die zu untersuchende Leistungsmerkmal direkt widerspiegeln. Beispiele hierfür sind: Produktfestigkeit, Ausbeute, Oberflächenrauheit, Maßgenauigkeit, Zykluszeit, Fehlerquote usw. Ein und derselbe DOE kann mehrere Antwortvariablen umfassen, wenn mit dem Versuch mehrere Leistungsmerkmale gleichzeitig untersucht werden sollen.

Bevor die endgültige Versuchsanordnungsmatrix erstellt wird, müssen Entscheidungen darüber getroffen werden, wie mit Mittelpunktpositionen, Blöcken und Wiederholungen umgegangen werden soll. Diese Entscheidungen sollten bereits in der Planungsphase getroffen werden und nicht erst nach der Erhebung der Versuchsdaten. Anschließend können die Code-Ebenen und die Versuchsreihen-Randomisierung definiert und die Versuchsanordnungsmatrix erstellt werden.

Das endgültige Versuchsplan sollte ausreichende Informationen enthalten, damit das Experiment konsistent und nachvollziehbar durchgeführt werden kann. Die endgültige Versuchsplanmatrix sollte in der Regel folgende Angaben enthalten: Versuchslaufnummer, Standardlaufnummer, randomisierte Versuchsreihenfolge, Faktorbezeichnungen, kodierte Werte und Istwerte der Faktoren, Antwortvariablen, gegebenenfalls die Kennung des Mittelpunktes, gegebenenfalls die Blockkennzeichnung sowie gegebenenfalls die Kennung der Wiederholungen.

Bevor mit den Versuchsdurchläufen begonnen wird, sollte das Versuchsdesign überprüft werden, um sicherzustellen, dass das Versuchsziel klar definiert ist, die Antwortgrößen messbar sind und die erforderliche Anzahl an Durchläufen realisierbar ist. Die fertiggestellte Versuchsplanmatrix dient dann als Versuchsplan für die anschließende Datenerfassungsphase.

Qualis 4.0 Analytics erstellt die Versuchsmatrix auf der Grundlage des Versuchsplans und der Konfigurationselemente. Anschließend kann das eigentliche Experiment gemäß den in der Versuchsmatrix festgelegten Faktorstufen durchgeführt werden.

Abbildung 1: Beispielbildschirm der Experiment-Einrichtung in Qualis 4.0 Analytics – Einrichtung

2. Datenerhebung und -validierung

Sobald das Versuchsdesign und die Versuchsmatrix festgelegt sind, werden die Versuchsdaten entsprechend den geplanten Versuchsdurchläufen erhoben. Bevor mit der Prozessmodellierung fortgefahren wird, sollten die erhobenen Daten ausgewertet werden, um festzustellen, ob sie die für die anschließende Analyse erforderlichen statistischen Grundannahmen erfüllen. Die drei wichtigsten zu berücksichtigenden Merkmale sind:

Diese Prüfungen liefern eine erste Einschätzung darüber, ob die erhobenen Daten für die anschließende statistische Modellierung geeignet sind. Eine typische Interpretation lautet:

Diese Kriterien sollten eher als Leitlinien denn als automatische Regeln für das Bestehen oder Nichtbestehen betrachtet werden. Der p-Wert sollte im Zusammenhang mit der entsprechenden grafischen Auswertung und dem tatsächlichen Verhalten der Daten betrachtet werden. Wenn die Daten keine wesentlichen Anzeichen für Nicht-Zufälligkeit, Nicht-Normalverteilung oder ungleiche Varianz aufweisen, kann der Datensatz dennoch für die Prozessmodellierung verwendet werden.

Sobald die Versuchsdaten die ersten Validierungsprüfungen bestanden haben, besteht der nächste Schritt darin, anhand der DOE-Daten ein mathematisches Modell des Prozesses zu entwickeln.

In Qualis 4.0 Analytics werden die Versuchsergebnisse in die Spalte „Response“ der DOE-Planungsmatrix eingegeben; anschließend wird der DOE gespeichert, und die Software fährt mit der Modelloptimierung fort .

Der Modellierungsprozess beginnt nicht damit, dass sofort entschieden wird, welche Faktoren wichtig sind. Stattdessen werden die Versuchsdaten zunächst dazu verwendet, ein geeignetes Anfangsmodell zu erstellen, das die Effekte enthält, die anhand des ausgewählten Versuchsplans (DOE) geschätzt werden können. Das Anfangsmodell wird anschließend mittels Regression und ANOVA analysiert, um den Beitrag und die statistische Signifikanz der Modellterme zu verstehen. Gegebenenfalls wird das Modell reduziert, indem Terme entfernt werden, die keinen ausreichenden Hinweis auf einen Beitrag zur Reaktion liefern. Das reduzierte Modell wird anschließend erneut angepasst und erneut bewertet, bis ein geeignetes Endmodell vorliegt. Qualis 4.0 Analytics DOE unterstützt die erneute Anpassung des Modells und das Speichern der Ergebnisse.

Die Signifikanz des Gesamtmodells wird mittels ANOVA bewertet, wobei die in der Antwortvariablen beobachtete Gesamtvariation in die durch das Modell erklärte Variation und die auf den Fehler zurückzuführende Variation unterteilt wird. Die ANOVA-Ergebnisse liefern zudem Informationen über die einzelnen Modellterme und die mit jedem Term verbundene statistische Aussagekraft.

Das folgende Beispiel zeigt eine ANOVA- und Modellübersichtstabelle, die die geschätzten Koeffizienten, Standardfehler, Freiheitsgrade, bereinigte Quadratsummen, bereinigte Mittelquadrate, F-Werte, p-Werte sowie Statistiken zur Modellanpassung enthält.

Abbildung 2: modellzusammenfassung „DOE“ in qualis analytics

Abbildung 3: ANOVA und Regressionsgleichung im DOE in Qualis Analytics

Die Tabelle enthält verschiedene Informationen, die bei der Modellbewertung herangezogen werden. Der Koeffizient beschreibt den geschätzten Effekt eines Modellterms, während der Standardfehler die mit dieser Schätzung verbundene Unsicherheit angibt. Die Freiheitsgrade, die bereinigte Summe der Quadrate und der bereinigte mittlere Quadratwert beschreiben die mit jeder Quelle verbundene Varianz. Der F-Wert vergleicht die mit einem Term verbundene Varianz mit der geschätzten Fehlervarianz, und der entsprechende p-Wert liefert Anhaltspunkte für die Beurteilung, ob der Term statistisch signifikant ist.

Bevor geprüft wird, wie viel Varianz das Modell erklärt, stellt sich zunächst die Frage, ob das Modell insgesamt ausreichende statistische Belege dafür liefert, dass es einen signifikanten Teil der Varianz der Antwortvariablen erklärt. Dies wird anhand des ANOVA-Tests für das Gesamtmodell bewertet. Die Interpretation bei einem Alpha-Niveau von 0,05 lautet: p-Wert ≤ 0,05: Das Modell ist statistisch signifikant. p-Wert > 0,05: Es liegen keine ausreichenden Belege dafür vor, dass das Gesamtmodell statistisch signifikant ist.

Ein statistisch signifikantes Modell deutet darauf hin, dass die durch das Modell erklärte Varianz im Verhältnis zum experimentellen Fehler ausreichend groß ist, um den Nachweis zu erbringen, dass das Modell zur Beschreibung der Reaktion geeignet ist. Die Feststellung, dass das Modell statistisch signifikant ist, gibt jedoch keinen Aufschluss darüber, wie viel der Variation der Antwortvariablen durch das Modell erklärt wird oder wie gut das Modell voraussichtlich neue Beobachtungen vorhersagen kann. Diese Aspekte werden anhand der Auswertung von R², bereinigtem R² und vorhergesagtem R² sowie anhand der Analyse der Fehlanpassung und der Residuen bewertet.

Die Ergebnisse der vorangegangenen Bewertungen sollten gemeinsam berücksichtigt werden, um festzustellen, ob das reduzierte Modell zur Darstellung des Prozesses geeignet ist. Bei der Bewertung sollten folgende Aspekte berücksichtigt werden:

Diese Kriterien sollten in ihrer Gesamtheit betrachtet werden, anstatt sich auf eine einzelne Kennzahl zu stützen. Ein hoher R²-Wert deutet beispielsweise nicht automatisch auf ein adäquates Modell hin, wenn die Residuen systematische Muster oder eine erhebliche Fehlanpassung aufweisen. Wenn die Gesamtauswertung darauf hindeutet, dass das Modell adäquat ist, kann das reduzierte Modell als endgültiges Modell akzeptiert und für die nächste Stufe der DOE-Analyse verwendet werden.

3. Modellinterpretation und -analyse (Modellanalyse)

Nachdem das Modell bewertet und als geeignet bestätigt wurde, besteht der nächste Schritt darin, den Zusammenhang zwischen den Faktoren und der Antwortvariablen zu interpretieren. Der Zweck der Modellinterpretation besteht darin, zu verstehen, wie die Faktoren die Antwortgröße beeinflussen, ob die Auswirkungen positiv oder negativ sind, ob die Faktoren miteinander interagieren und wie sich die Antwortgröße über den Versuchsbereich hinweg verändert. Die wichtigsten Werkzeuge für die Interpretation sind: Haupteffektdiagramm, Interaktionsdiagramm, Konturdiagramm und Oberflächendiagramm.

Diagramm der Haupteffekte

Ein Haupteffektdiagramm veranschaulicht, wie sich die vorhergesagte oder beobachtete Reaktion ändert, wenn sich das Niveau eines Faktors ändert, wobei die Reaktion über die verschiedenen Niveaus der anderen Faktoren hinweg berücksichtigt wird. Die allgemeine Interpretation basiert auf der Steigung der Geraden.

Die Größe der Steigung gibt Aufschluss über die Stärke des Haupteffekts.

Abbildung 4: Darstellung der Haupteffekte eines DOE in Qualis Analytics

Interaktionsdiagramm

Anhand eines Interaktionsdiagramms lässt sich feststellen, ob der Effekt eines Faktors vom Niveau eines anderen Faktors abhängt. Betrachten Sie zwei Faktoren, A und B. Ist der Effekt von A auf beiden Niveaus von B in etwa gleich, gibt es kaum Anzeichen für eine Interaktion. Ändert sich der Effekt von A in Abhängigkeit vom Niveau von B, könnte eine Interaktion vorliegen.

Die grafik lässt sich anhand der beziehungen zwischen den linien interpretieren:

Wenn beispielsweise eine steigende Temperatur die Reaktion bei niedrigem Druck verbessert, bei hohem Druck jedoch nur geringe oder negative Auswirkungen hat, wirken Temperatur und Druck zusammen. Das folgende Beispiel veranschaulicht die Verwendung von Wechselwirkungsdiagrammen zur Interpretation der Auswirkungen der Faktoren auf die Reaktion.

Abbildung 5: interaktionsdiagramm „DOE“ in qualis analytics

Konturdiagramm

Ein Konturdiagramm ist eine zweidimensionale grafische Darstellung, mit der der Zusammenhang zwischen einer Antwortvariablen und zwei Eingabefaktoren visualisiert wird. Dabei werden Konturlinien oder schattierte Bereiche verwendet, um Bereiche mit gleichen oder ähnlichen Antwortwerten darzustellen. Ähnlich wie bei einer topografischen Karte hilft das Konturdiagramm dem Nutzer, die Antwortfläche zu visualisieren und Trends, Spitzen, Täler sowie Bereiche von Interesse zu identifizieren.

Wählen Sie in Qualis Analytics im Feld „Plot-Typ“ die Option „Konturdiagramm“ aus, um ein Konturdiagramm zu erstellen. Sie können wählen, ob Sie „Alle Diagramme“ oder ein „Einzelnes Diagramm“ erstellen möchten.

Abbildung 6: konturdiagramm „DOE“ in qualis analytics

Flächendiagramm

Ein Oberflächenplot liefert eine dreidimensionale Darstellung der angepassten Antwortfunktion in Abhängigkeit von zwei Faktoren. Die beiden Faktoren werden durch die horizontalen Achsen dargestellt, während die vorhergesagte Antwortfunktion auf der vertikalen Achse dargestellt wird. Die resultierende Oberfläche zeigt, wie sich die Antwortfunktion ändert, wenn sich die beiden Faktoren gleichzeitig ändern. Die Form der Oberfläche kann Aufschluss geben über: die Richtung der Veränderung der Antwortvariablen, die Stärke der Faktoreffekte, die Wechselwirkung zwischen den Faktoren, Spitzen und Täler sowie die Krümmung, sofern diese durch das angepasste Modell dargestellt werden.

Die Oberflächen grafische Darstellung liefert somit eine visuelle Interpretation des mathematischen Modells. Das folgende Beispiel veranschaulicht, wie eine Oberflächen grafische Darstellung genutzt werden kann, um die Antwortfläche und die Beziehungen zwischen den Faktoren zu visualisieren.

Abbildung 7: Oberflächen-DOE in Qualis Analytics

4. Modelloptimierung und prognose

Nachdem das Modell ausgewertet und interpretiert wurde, besteht der letzte Schritt darin, anhand des Modells die gewünschten Faktoreinstellungen zu ermitteln, die erwartete Reaktion vorherzusagen und die Vorhersage anschließend anhand eines tatsächlichen Experiments zu bestätigen.

Die Modellvalidierung in Qualis 4.0 Analytics dient dazu, auf der Grundlage des angepassten Modells und der gewünschten Reaktion die optimalen Faktoreinstellungen zu ermitteln. Benutzer können die Art der Optimierung entsprechend auswählen, je nachdem, ob die Reaktion einen bestimmten Zielwert erreichen, maximiert oder minimiert werden soll. In Qualis 4.0 Analytics werden drei Arten der Optimierung unterstützt: 1. Zielreaktionsgröße – ermittelt die Faktoreinstellungen, mit denen ein gewünschter Zielwert für die Reaktionsgröße erreicht wird. 2. Reaktionsgröße maximieren – ermittelt die Faktoreinstellungen, mit denen die Reaktionsgröße maximiert wird. 3. Reaktionsgröße minimieren – ermittelt die Faktoreinstellungen, mit denen die Reaktionsgröße minimiert wird.

Das Ergebnis der Modelloptimierung sind die prognostizierten Faktoren bzw. Eingabewerte, mit denen das ausgewählte Optimierungsziel erreicht werden soll. Zudem wird das Konfidenzintervall (95 %) angezeigt, um die mit der Modellprognose verbundene Unsicherheit zu verdeutlichen.

Abbildung 8: modelloptimierung – vorhergesagte eingabewerte – DOE in qualis analytics

Es wird empfohlen, durch die Durchführung eines Bestätigungsexperiments unter Verwendung der im Abschnitt „Modellvalidierung“ dargestellten endgültigen Faktoreinstellungen zu überprüfen, ob der tatsächliche Prozess eine Reaktion liefert, die mit der Modellvorhersage übereinstimmt.

Das Ergebnis sollte unter Berücksichtigung der Vorhersageunsicherheit und der zu erwartenden Prozessschwankungen interpretiert werden, anstatt sich ausschließlich auf die prozentuale Abweichung zu stützen. Wenn das tatsächliche Ergebnis in angemessenem Einklang mit der Vorhersage steht und das angestrebte Reaktionsziel erreicht wird, können das Modell und die gewählten Betriebsbedingungen als bestätigt angesehen werden.

Abschließende Bemerkung

Wenn Sie daran interessiert sind, mit DOE zu beginnen, oder nach einem Tool suchen, das Sie bei Ihren DOE-Experimenten unterstützt, oder wenn Sie DOE mit Machine Learning vergleichen möchten, das ebenfalls in Analytics verfügbar ist, wenden Sie sich bitte an Datalyzer. Datalyzer unterstützt Kunden bei der Durchführung von Six-Sigma-Schulungen, einschließlich DOE, und wir stellen Ihnen im Qualis 4.0 Analytics-Benutzerhandbuch zusätzliche Dokumentation und Informationen zu den Studien zur Verfügung.