Overfitting und Underfitting im Machine Learning

Philipp Schurr

25. Februar 2025

Was ist Overfitting?

Overfitting ist ein häufiges Problem im Machine Learning, das auftritt, wenn ein Modell zu stark an die Trainingsdaten angepasst ist. Dabei lernt das Modell nicht nur die relevanten Muster und Zusammenhänge, sondern auch das Rauschen und die irrelevanten Details in den Trainingsdaten. Das führt dazu, dass das Modell zwar auf den Trainingsdaten hervorragende Ergebnisse erzielt, jedoch schlecht generalisiert und auf neuen, unbekannten Daten ungenaue Vorhersagen liefert.

Ein klassisches Beispiel für Overfitting ist ein Modell, das Fotos analysieren und Hunde erkennen soll. Wenn die Trainingsdaten hauptsächlich Hunde in Parks zeigen, könnte das Modell lernen, Gras als Merkmal für Hunde zu betrachten, und Hunde in Innenräumen nicht korrekt erkennen.

Webinar: Künstliche Intelligenz – Grundlagen und Best Practices

Sie möchten gerne mehr zum Thema Künstliche Intelligenz erfahren und wie Ihr Unternehmen davon profitieren kann? In unserem Webinar fassen wir Ihnen die wichtigsten Aspekte zusammen!

Jetzt anmelden

Ursachen von Overfitting

Overfitting kann durch mehrere Faktoren ausgelöst werden:

• Zu komplexe Modelle: Modelle mit einer hohen Anzahl an Parametern oder übermäßiger Komplexität sind anfälliger für Overfitting, da sie in der Lage sind, selbst das Rauschen in den Daten zu lernen.
• Lange Trainingszeiten: Wenn ein Modell zu lange trainiert wird, beginnt es, auch die zufälligen Variationen in den Daten zu lernen.
• Kleine oder unausgewogene Trainingsdaten: Ein unzureichend großer oder unausgewogener Datensatz kann dazu führen, dass das Modell keine allgemeingültigen Muster lernt, sondern sich zu stark an die verfügbaren Daten klammert.
• Unzureichende Regularisierung: Ohne geeignete Regularisierungstechniken wird das Modell weniger eingeschränkt und neigt dazu, zu viel von den Daten zu lernen.

Erkennung von Overfitting

Overfitting lässt sich durch Testen des Modells auf unabhängigen Daten erkennen. Typischerweise teilt man die Daten in Trainings- und Testdaten auf. Wenn das Modell auf den Trainingsdaten eine geringe Fehlerrate, auf den Testdaten jedoch eine hohe Fehlerrate zeigt, deutet es auf Overfitting hin.

Eine häufig genutzte Methode, um Overfitting zu erkennen, ist die K-fache Kreuzvalidierung. Dabei wird der Trainingsdatensatz in K gleich große Teile (Folds) aufgeteilt. Das Modell wird auf K-1 dieser Teile trainiert und auf dem übrig gebliebenen Teil getestet. Dieser Vorgang wird so oft wiederholt, bis jeder Teil einmal als Testdatensatz genutzt wurde. Am Ende werden die Ergebnisse aller Tests gemittelt, um die Leistung des Modells zu beurteilen.

Was ist Underfitting?

Underfitting ist das Gegenstück zu Overfitting. Es tritt auf, wenn ein Modell zu simpel ist, um die zugrunde liegenden Muster in den Daten zu erfassen. Dadurch liefert es sowohl auf den Trainingsdaten als auch auf den Testdaten schlechte Ergebnisse. Ein Modell, das underfitted ist, hat oft hohe Bias-Werte und eine geringe Varianz. Das bedeutet, dass es zwar einfache, jedoch unzureichende Annahmen über die Daten trifft.

Ursachen von Underfitting

Auch das Underfitting hat mehrere Auslöser:

• Zu einfache Modelle: Modelle mit geringer Komplexität können die Zusammenhänge in den Daten nicht angemessen erfassen.
• Unzureichende Trainingszeit: Wenn das Modell nicht lange genug trainiert wird, kann es die wichtigen Muster in den Daten nicht lernen.
• Unzureichende Merkmale: Wenn die verwendeten Features nicht ausreichend repräsentativ für das Problem sind, kann das Modell keine sinnvollen Vorhersagen treffen.
• Zu starke Regularisierung: Eine übermäßige Regularisierung kann das Modell daran hindern, die zugrunde liegenden Muster zu lernen.

Bias-Varianz-Tradeoff

Der Bias-Varianz-Tradeoff beschreibt das Spannungsverhältnis zwischen Overfitting und Underfitting. Modelle mit hohem Bias (Überanpassung) sind zu einfach und können die Daten nicht angemessen repräsentieren. Modelle mit hoher Varianz (Überanpassung) sind zu komplex und passen sich zu stark an die Trainingsdaten an. Ziel ist es, ein Modell zu finden, das diesen Tradeoff optimiert und sowohl Bias als auch Varianz minimiert.

E-Book: Künstliche Intelligenz für Entscheider

Künstliche Intelligenz für Unternehmen: Ein Ratgeber für Entscheider

Jetzt herunterladen

E-Book: Künstliche Intelligenz für Entscheider

×

Lösungen zur Vermeidung von Overfitting

Im Folgenden werden verschiedene Strategien zur Vermeidung von Overfitting in maschinellen Lernmodellen beschrieben. Diese Ansätze helfen dabei, die Generalisierungsfähigkeit eines Modells zu verbessern, indem sie verhindern, dass es zu stark an die Trainingsdaten angepasst wird.

Frühes Stoppen

Das Training wird gestoppt, bevor das Modell beginnt, unnötige Details oder Rauschen in den Daten zu lernen. Das geschieht durch die Überwachung der Modellleistung auf einem separaten Validierungsdatensatz.

Regularisierung

Methoden wie Lasso- oder Ridge-Regression sowie Dropout bei neuronalen Netzwerken begrenzen die Komplexität des Modells, indem sie die Werte der Parameter steuern und dadurch Überanpassung verhindern.

Ensembling

Durch die Kombination der Vorhersagen mehrerer Modelle, beispielsweise mit Techniken wie Bagging oder Boosting, können die Effekte von Overfitting verringert werden.

Bagging ist eine Technik, bei der mehrere Modelle unabhängig voneinander trainiert werden. Dafür wird der Trainingsdatensatz mehrfach durch Ziehen von Stichproben mit Zurücklegen (Bootstrap) variiert, sodass jedes Modell einen leicht unterschiedlichen Datensatz sieht. Die Ergebnisse der Modelle werden dann beispielsweise durch Mittelung (für Regression) oder Mehrheitsvotum (für Klassifikation) kombiniert. Das reduziert Overfitting, da das Modellrauschen einzelner Modelle ausgeglichen wird und die Vorhersagen robuster werden.

Boosting ist eine Technik, bei der Modelle nacheinander trainiert werden, wobei jedes neue Modell die Fehler des vorherigen zu korrigieren versucht. Im Gegensatz zu Bagging arbeiten die Modelle also nicht unabhängig voneinander, sondern kooperativ. Durch diese iterative Optimierung fokussiert Boosting auf schwierige Beispiele aus den Trainingsdaten, während es gleichzeitig versucht, Überanpassung zu verhindern. Das gelingt durch Regularisierungsmöglichkeiten und durch Begrenzung der Modellkomplexität, beispielsweise durch schwache Lernalgorithmen wie Entscheidungsbäume geringer Tiefe.

Datenaugmentierung

Kleine Veränderungen an den Trainingsdaten, wie das Drehen oder Spiegeln von Bildern, erhöhen die Vielfalt der Daten und tragen dazu bei, das Modell robuster zu machen.

Erweiterung des Datensatzes

Das Hinzufügen weiterer, sauberer und relevanter Datenproben kann die Fähigkeit des Modells verbessern, auch auf neue Daten korrekt zu reagieren.

Feature-Auswahl

Die Identifikation und Entfernung irrelevanter oder redundanter Merkmale reduziert die Komplexität des Modells und verringert das Risiko von Overfitting.

Fazit

Overfitting und Underfitting sind zwei Hauptprobleme im Machine Learning, die die Modellleistung erheblich beeinträchtigen können. Während Overfitting durch übermäßige Anpassung an die Trainingsdaten gekennzeichnet ist, beschreibt Underfitting die Unfähigkeit eines Modells, die zugrunde liegenden Muster in den Daten zu erfassen.

Um optimale Ergebnisse zu erzielen, ist es wichtig, ein Gleichgewicht zwischen Bias und Varianz zu finden. Dies kann durch geeignete Techniken wie Regularisierung, Ensembling, Datenaugmentierung und eine durchdachte Trainingsstrategie erreicht werden.

FAQ

Was ist Overfitting im Machine Learning?

Overfitting tritt auf, wenn ein Modell das Rauschen in den Trainingsdaten lernt und dadurch schlecht auf neuen Daten generalisiert.

Wie kann man Overfitting vermeiden?

Techniken wie Regularisierung, Ensembling, frühes Stoppen und Datenaugmentierung helfen, Overfitting zu verhindern.

Was bedeutet Underfitting?

Underfitting beschreibt ein Modell, das zu einfach ist, um die zugrunde liegenden Muster in den Daten zu erfassen, und daher schlechte Vorhersagen liefert.