Multi-Task Learning

Patrick Höfer

23. Oktober 2024

Warum MTL?

Traditionell konzentrieren sich maschinelle Lernmodelle auf die Optimierung einer einzelnen Aufgabe oder eines bestimmten Performancemaßes, wie z.B. einer Kennzahl eines Benchmarks oder eines Business KPI. Durch die Fokussierung auf eine einzige Aufgabe wird jedoch das Potenzial ignoriert, das in den Trainingssignalen verwandter Aufgaben steckt. Indem gemeinsame Repräsentationen zwischen verwandten Aufgaben geteilt werden, kann ein Modell seine Generalisierungsleistung auf die Hauptaufgabe verbessern. Diese Verbesserung tritt ein, weil das Modell domänenspezifische Informationen aus verwandten Aufgaben lernt, die für die Lösung der ursprünglichen Aufgabe nützlich sind.

Biologische und pädagogische Inspiration

MTL ist stark von der menschlichen Lernfähigkeit inspiriert. Menschen lernen oft, indem sie Wissen anwenden, das sie bereits gelernt haben. Zum Beispiel lernt ein Baby Gesichter zu erkennen, bevor es dieses Wissen auf andere Objekte anwenden kann. Ähnlich wie beim menschlichen Lernen hilft MTL einem Modell, seine Leistung zu verbessern, indem es Informationen aus verschiedenen Aufgaben nutzt.

E-Book: Künstliche Intelligenz für Entscheider

Künstliche Intelligenz für Unternehmen: Ein Ratgeber für Entscheider

Jetzt herunterladen

E-Book: Künstliche Intelligenz für Entscheider

×

Gängige Methoden des Multi-Tasking-Lernens im Deep Learning

Im Kontext des Deep Learning werden vor allem zwei Methoden des Multi-Task Learning verwendet: Hard Parameter Sharing und Soft Parameter Sharing.

Harte Parameterteilung

Hard Parameter Sharing ist die am häufigsten verwendete Methode für MTL in neuronalen Netzen. Es wurde erstmals in den 1990er Jahren eingeführt und beinhaltet das Teilen der verborgenen Schichten eines Netzes zwischen allen Aufgaben, während die aufgabenspezifischen Ausgabeschichten getrennt bleiben. Dieses Verfahren reduziert das Risiko einer Überanpassung erheblich, da das Modell gezwungen ist, eine gemeinsame Repräsentation für alle Aufgaben zu finden.

Warum funktioniert Hard Parameter Sharing?

Hard Parameter Sharing reduziert das Risiko einer Überanpassung der geteilten Parameter proportional zur Anzahl der gelernten Aufgaben. Dies bedeutet, dass das Modell eine Repräsentation entwickeln muss, die für alle Aufgaben relevant ist und sich nicht auf eine bestimmte Aufgabe konzentriert.

Soft Parameter Sharing

Im Gegensatz zum Hard Parameter Sharing hat beim Soft Parameter Sharing jede Aufgabe ihr eigenes Modell mit individuellen Parametern. Der Abstand zwischen den Parametern der Modelle wird jedoch reguliert, um ähnliche Parameter für die verschiedenen Aufgaben zu fördern. Diese Methode wird häufig in Szenarien verwendet, in denen verwandte Aufgaben unterschiedlich komplex sind oder unterschiedliche Dateneigenschaften aufweisen.

Warum funktioniert Multitasking?

MTL funktioniert aufgrund mehrerer Mechanismen, die zusammenwirken, um die Generalisierungsfähigkeit von Modellen zu verbessern. Einige dieser Mechanismen wurden bereits Ende der 1990er Jahre von Rich Caruana vorgeschlagen:

Implizite Datenvergrößerung

MTL vergrößert die Datenmenge, die das Modell zum Training verwendet. Unterschiedliche Aufgaben weisen unterschiedliche Rauschmuster auf, was dem Modell hilft, eine robustere und allgemeinere Repräsentation zu lernen, die übergreifend nützlich ist.

Fokussierung der Aufmerksamkeit

MTL kann einem Modell helfen, seine Aufmerksamkeit auf die für eine Aufgabe relevanten Merkmale zu lenken, da verwandte Aufgaben zusätzliche Hinweise auf die Relevanz dieser Merkmale liefern.

Eavesdropping (Lauschen)

Einige Merkmale, die für eine Aufgabe schwer zu lernen sind, können für eine andere Aufgabe leicht gelernt werden. MTL ermöglicht es einem Modell, die leichtere Aufgabe zu „belauschen“ und so von diesen Merkmalen zu profitieren.

Repräsentationsverzerrung

MTL bringt das Modell dazu, Repräsentationen zu bevorzugen, die auch für andere Aufgaben nützlich sind. Dies verbessert die Generalisierbarkeit des Modells für zukünftige Aufgaben, insbesondere wenn diese aus ähnlichen Datenquellen stammen.

Regularisierung

MTL fungiert als Regularisierer, indem es eine induktive Verzerrung einführt. Diese Verzerrung reduziert die Gefahr der Überanpassung und verbessert somit die Generalisierungsfähigkeit des Modells.

Fortgeschrittene Methoden und Ansätze im Multi-Tasking Learning

MTL in neuronalen Netzen entwickelt sich ständig weiter. Verschiedene neuere Ansätze und Architekturen versuchen MTL für Deep Learning zu optimieren und zu verfeinern.

Tiefe Beziehungsnetzwerke

Diese Netzwerke verwenden gemeinsame und aufgabenspezifische Schichten, um die Beziehungen zwischen Aufgaben zu modellieren. Sie verwenden Matrix-Prioren in vollständig verbundenen Schichten, um zu lernen, wie die Aufgaben miteinander verbunden sind.

Kreuzstich-Netze

Ein weiterer Ansatz ist das sogenannte Cross-Stitching. Hierbei werden für jede Aufgabe separate Netzwerke verwendet und durch das Vernähen der Netzwerke lernt das Modell, inwieweit die Netzwerke der Aufgaben Wissen miteinander teilen.

Verlustgewichtung nach Unsicherheit

Ein innovativer Ansatz berücksichtigt die Unsicherheit jeder Aufgabe und passt das relative Gewicht der Aufgabe in der Kostenfunktion an. Dadurch wird der Verlust dynamisch an die Prognoseunsicherheit jeder Aufgabe angepasst.

Webinar: Künstliche Intelligenz – Grundlagen und Best Practices

Sie möchten gerne mehr zum Thema Künstliche Intelligenz erfahren und wie Ihr Unternehmen davon profitieren kann? In unserem Webinar fassen wir Ihnen die wichtigsten Aspekte zusammen!

zur Anmeldung

Auswahl von Hilfsaufgaben und Best Practices

Oft ist man nur an der Leistung für eine bestimmte Aufgabe interessiert, aber MTL kann auch in diesen Fällen Vorteile bringen. Eine wichtige Überlegung bei der Anwendung von MTL ist die Auswahl der richtigen Nebenaufgabe. Die folgenden Ansätze können dabei helfen:

• Verwandte Aufgaben: Die klassische Wahl sind Aufgaben, die eng mit der Hauptaufgabe verwandt sind, z. B. bei der Erkennung von Gesichtern kann eine verwandte Aufgabe die Erkennung von Gesichtszügen sein.
• Adversarial Tasks: Hier wird eine gegensätzliche Aufgabe definiert, bei der das Modell versucht, den Fehler zu maximieren. Dies kann nützlich sein, um robuste Repräsentationen zu lernen.
• Fokussierung der Aufmerksamkeit: Die Wahl einer Hilfsaufgabe, die das Modell zwingt, sich auf relevante Merkmale zu konzentrieren, kann ebenfalls nützlich sein.

Fazit

Multi-Tasking Learning bietet erhebliche Vorteile im maschinellen Lernen und insbesondere im Deep Learning, indem es domänenspezifische Informationen aus mehreren Aufgaben gleichzeitig nutzt. Es verbessert die Generalisierungsleistung von Modellen, reduziert das Risiko der Überanpassung und ermöglicht das Lernen robusterer Repräsentationen. Während klassische Methoden wie Hard und Soft Parameter Sharing weiterhin weit verbreitet sind, zeigen neuere Ansätze wie Cross-Stitch Networks und Dynamic Loss Weighting vielversprechende Ergebnisse.

MTL ist besonders wertvoll in Anwendungsbereichen wie der Verarbeitung natürlicher Sprache, dem maschinellen Sehen und der Medizin. Auch wenn unser Verständnis darüber, welche Aufgaben wie miteinander verbunden sind, noch weiterentwickelt werden muss, zeigt die Forschung, dass MTL ein leistungsfähiges Werkzeug ist, um maschinelle Lernmodelle in komplexen und vielschichtigen Umgebungen zu verbessern.