Contrastive Learning

22. April 2025

In der modernen Welt der Künstlichen Intelligenz stellt die Fähigkeit, mit großen unbeschrifteter Daten zu arbeiten, einen entscheidenden Vorteil dar. Contrastive Learning hat sich in diesem Kontext als eine Schlüsseltechnologie etabliert. Was es damit auf sich hat, erfahren Sie in diesem Artikel.

Was ist Contrastive Learning?

Contrastive Learning gehört zur Klasse des selbstüberwachten Lernens, das darauf abzielt, aus Rohdaten (z.B. Bildern, Texten oder Audiodaten) Struktur und Muster zu extrahieren. Dabei wird sich darauf konzentriert, Ähnlichkeiten und Unterschiede zwischen Datenpunkten zu lernen.

Es ermöglicht KI-Modellen dadurch, bedeutungsvolle Repräsentationen von Daten zu lernen, ohne auf umfangreiche manuelle Datenannotation angewiesen zu sein.

Das zentrale Ziel ist es also, ein Modell zu trainieren, das:

Positive Paare (ähnliche Daten, z.B. verschiedene Ansichten eines Objekts) nahe zusammenführt.
Negative Paare (unterschiedliche Daten) im Repräsentationsraum auseinanderhält.

Wie funktioniert Contrastive Learning?

Grundlegend besteht Contrastive Learning darin, eine Datenprobe auszuwählen, die als „Anker“ bezeichnet wird, sowie einen Datenpunkt aus derselben Verteilung wie der Anker, der als „positives“ Beispiel bezeichnet wird. Zusätzlich gibt es noch einen weiteren Datenpunkt einer anderen Verteilung, der als „negatives“ Beispiel bezeichnet wird. Das Modell versucht, die Distanz zwischen dem Anker und den positiven Beispielen, also den Datenpunkten, die derselben Verteilung angehören, im latenten Raum zu minimieren und gleichzeitig die Distanz zwischen dem Anker und den negativen Beispielen zu maximieren.

Um dieses Ziel zu erreichen, werden spezielle kontrastive Loss-Funktionen verwendet, wie zum Beispiel die InfoNCE-Loss (Noise-Contrastive-Estimation) Funktion oder NT-Xent (Normalized Temperature-scaled Cross-Entropy). Sie trainieren das Modell so, dass es die gewünschten Beziehungen zwischen Anker, positiven und negativen Beispielen lernt. Es gibt eine Vielzahl an verschiedenen Loss-Funktionen, die je nach Einsatzgebiet des Modells mehr oder weniger sinnvoll sind.

Datenerweiterung spielt auch eine wichtige Rolle beim Contrastive Learning und umfasst Techniken, die die Vielfalt der Trainingsdaten erhöhen, um das Modell zu stärken. Dadurch wird die Fähigkeit des Modells verbessert, aussagekräftige und generalisierbare Repräsentationen zu lernen. Um dies zu erreichen, gibt es verschiedene Methoden:

Prinzip der Instance Discrimination

Dabei werden alle Bilder aus einem Datensatz durch Transformation verändert, um positive Beispiele für ein Anker-Bild zu erzeugen. Beispielsweise:

Wenn ein Bild eines Hundes als Anker ausgewählt wird, kann man es spiegeln oder in Graustufen umwandeln, um ein positives Beispiel zu erstellen.

Jedes andere Bild im Datensatz, das nicht mit dem Anker verwandt ist (z.B. ein Bild einer Katze), dient als negatives Beispiel.

Um die Robustheit und Variabilität der Daten zu gewährleisten, werden häufig Augmentationstechniken verwendet, darunter:

Farbveränderungen (Colour Jittering): Die Helligkeit, der Kontrast und die Sättigung eines Bildes werden zufällig angepasst. Diese Technik verhindert, dass ein Modell Objekte nur anhand der Farben im Bild kategorisiert.
Bildrotationen: Bilder werden um einen zufälligen Winkel (z.B. 0 bis 90 Grad) gedreht. Da die Kerninformationen eines Bildes dabei erhalten bleiben, lernt das Modell, Rotation zu verarbeiten.
Bildspiegelungen (Image Flipping): Bilder werden vertikal oder horizontal gespiegelt, um die Vielfalt der Trainingsdaten zu erhöhen.
Rauschen hinzufügen (Image Noising): Zufälliges Pixelrauschen wird den Bildern hinzugefügt (z.B. in Form von “Salt-and-Pepper-Rauschen”), sodass einzelne Pixel schwarz oder weiß gesetzt werden. Das hilft dem Modell, zwischen Signal und Rauschen zu unterscheiden.
Geometrische Transformationen (Random Affine): Geometrische Transformationen, die Linien und Parallelität beibehalten, aber Winkel und Abstände verändern, werden angewendet.

Webinar: Künstliche Intelligenz – Grundlagen und Best Practices

Sie möchten gerne mehr zum Thema Künstliche Intelligenz erfahren und wie Ihr Unternehmen davon profitieren kann? In unserem Webinar fassen wir Ihnen die wichtigsten Aspekte zusammen!

Image Subsampling/Patching

Neben Instance Discrimination gibt es auch Methoden, bei denen Bilder in kleinere Abschnitte (Patches) unterteilt werden. Diese Patches dienen dann als Anker.

Positive Patches stammen aus demselben Bild, jedoch aus verschiedenen Bereichen.
Negative Patches werden aus völlig anderen Bildern genommen.

Dann dient beispielsweise ein Patch aus dem Bild einer Katze als Anker und andere Patches desselben Bildes sind positive Beispiele, während Patches aus Bildern eines Waschbären oder einer Giraffe als negative Beispiele dienen.

Supervised vs. Self-supervised Contrastive Learning

Des Weiteren kann man bei Contrastive Learning unterscheiden zwischen supervised und self-supervised, wobei der Unterschied hauptsächlich in der Art der verwendeten Labels liegt.

Bei Supervised Contrastive Learning werden die Bildpaare mit expliziten Labels verwendet. Das bedeutet, dass das Modell lernt, ähnliche Daten (z. B. Bilder der gleichen Klasse) zusammenzuführen und unähnliche Daten (z. B. Bilder unterschiedlicher Klassen) auseinanderzuhalten. Die Trainingsdaten sind also vorab mit Labels versehen, was typischerweise auf Klassifikationsaufgaben zutrifft.

Beim Self-Supervised Learning hingegen werden keine externen Labels benötigt. Stattdessen nutzt das Modell die Struktur der Daten selbst, um Ähnlichkeiten und Unterschiede zu lernen. Beispielsweise werden verschiedene Transformationen eines Bildes (wie Drehungen oder Zuschnitte) als positive Paare betrachtet, während unterschiedliche Bilder als negative Paare dienen. Diese Technik ermöglicht es, aus unbeschrifteten Daten nützliche Repräsentationen zu extrahieren, die später für spezifische Aufgaben verwendet werden können.

Anwendungsbereiche

Computer Vision: Contrastive Learning ermöglicht es, robuste Bildrepräsentationen ohne gelabelte Daten zu erlernen. Dadurch können Modelle effektiv generalisieren und auf verschiedene Aufgaben wie Bildklassifizierung und Objekterkennung angewendet werden.
Sprachverarbeitung: In diesem Bereich wird Contrastive Learning eingesetzt, um semantische Repräsentationen von Sätzen zu lernen. Dadurch können Modelle Textähnlichkeit besser bewerten.
Empfehlungssysteme: Contrastive Learning hilft bei Empfehlungssystemen, indem es aussagekräftige Repräsentationen von Benutzerpräferenzen und Objektmerkmalen lernt, wodurch genauere und personalisierte Empfehlungen ermöglicht werden.

KI-Potenzialanalyse

Nutzen Sie Künstliche Intelligenz, um Ihre Geschäftsprozesse zu optimieren und die Digitalisierung in Ihrem Unternehmen voranzutreiben.

Fazit

Abschließend lässt sich sagen, dass Contrastive Learning eine äußerst vielversprechende Technik zur Verbesserung von Modellrepräsentationen darstellt. Besonders in Bereichen wie Computer Vision und NLP hat es sich als äußerst effektiv erwiesen, da es ohne umfangreiche gelabelte Daten auskommt und die Generalisierungsfähigkeit von Modellen stärkt. Die Möglichkeit, präzise Repräsentationen zu lernen sind ein klarer Vorteil, während der hohe Rechenaufwand und die Komplexität der Auswahl geeigneter Paare als potenzielle Nachteile genannt werden können. Trotz dieser Herausforderungen bleibt es eine wertvolle Methode für viele datenintensive Aufgaben.

FAQ

Was ist Contrastive Learning?

Contrastive Learning ist eine Methode des maschinellen Lernens, bei der ein Modell lernt ähnliche und unähnliche Datenpunkte zu unterscheiden. Dafür nutzt es die Ähnlichkeiten und Unterschiede zwischen Datenpaaren, um leistungsstarke und generalisierbare Repräsentationen zu erzeugen.

Welche Rolle spielt die Loss-Funktion beim Contrastive Learning?

Die Loss-Funktion leitet das Modell an, die Repräsentationen so zu optimieren, dass ähnliche Datenpunkte näher beieinander und unähnliche weiter voneinander entfernt sind.

Was ist der Unterschied zwischen Supervised und Self-supervised Contrastive Learning?

Self-supervised Contrastive Learning benötigt keine gelabelten Daten, sodass das Modell Beziehungen zwischen Daten durch die Definition von Ähnlichkeiten und Unähnlichkeiten anhand von Transformationen der Eingabedaten lernt, während beim supervised Ansatz explizite Labels verwendet werden, um ähnliche und unähnliche Paare zu bestimmen und so die Repräsentationen zu optimieren.