Masked Language Models

Patrick Höfer

6. Januar 2025

Was sind Masked Language Models (MLMs)?

Masked Language Models (MLMs) sind eine wichtige Methode in der natürlichen Sprachverarbeitung (NLP), die zum Training von Sprachmodellen verwendet wird. Bei diesem Ansatz werden bestimmte Wörter und Tokens in einem Text zufällig maskiert oder verborgen, und das Modell wird darauf trainiert, diese maskierten Elemente anhand des Kontextes der umgebenden Wörter vorherzusagen. Dieser Prozess ist ein Beispiel für selbstüberwachtes Lernen, bei dem das Modell ohne explizite Labels oder Annotationen trainiert wird, sondern stattdessen aus dem eingehenden Text seine „Aufsicht“ bezieht.

Masked Language Modeling wird oft genutzt, um Transformer-Modelle wie BERT, GPT und RoBERTa zu trainieren. Diese Modelle können dann für eine Vielzahl von NLP-Aufgaben wie Textklassifikation, Fragebeantwortung und Textgenerierung verwendet werden.

E-Book: Künstliche Intelligenz für Entscheider

Künstliche Intelligenz für Unternehmen: Ein Ratgeber für Entscheider

Jetzt herunterladen

E-Book: Künstliche Intelligenz für Entscheider

×

Wie funktionieren Masked Language Models?

Im Rahmen des Pretrainings für tiefgehende Lernmodelle in NLP maskieren MLMs zufällig einen Teil der Eingabetokens eines Satzes und fordern das Modell auf, diese maskierten Tokens zu prognostizieren. Das Modell wird mit riesigen Textdatenmengen trainiert, sodass es den Kontext von Wörtern erkennen und die maskierten Tokens je nach diesem Kontext vorhersagen kann. Ein einfaches Beispiel wäre der Satz: „The cat [MASK] the tree“. Hier würde das Modell das Wort „climbed“ als das maskierte Token vorhersagen.

Während des Trainingsprozesses wird das Modell regelmäßig basierend auf der Differenz zwischen seinen Vorhersagen und den tatsächlichen Wörtern im Satz aktualisiert. Diese Vortrainingsphase hilft dem Modell, wertvolle kontextuelle Repräsentationen von Wörtern zu erlernen, die dann für spezifische NLP-Aufgaben weiter optimiert werden können.

Masked Language Modeling in BERT

Das BERT-Modell ist ein prominentes Beispiel für ein vortrainiertes MLM, das aus mehreren Schichten von Transformer-Encodern besteht. BERT verwendet einen Ansatz namens „fill-in-the-blank“, bei dem das Modell den Kontext der Wörter um das maskierte Token herum nutzt, um vorherzusagen, welches Wort das maskierte sein sollte. BERT ist bidirektional, was bedeutet, dass es sowohl den linken als auch den rechten Kontext eines Tokens berücksichtigt, um dessen Bedeutung besser zu verstehen. Diese bidirektionale Herangehensweise ermöglicht es BERT, Abhängigkeiten und Wechselwirkungen zwischen den Wörtern innerhalb eines Satzes zu erfassen.

Vorteile von Masked Language Models

MLMs bieten zahlreiche Vorteile für NLP-Aufgaben:

• Verbessertes Kontextverständnis: Durch das Vorhersagen von maskierten Tokens basierend auf dem umgebenden Kontext lernen MLMs, die Verbindungen und Abhängigkeiten zwischen den Wörtern in einem Satz zu erkennen.
• Bidirektionale Information: Während des Trainings berücksichtigt BERT sowohl den linken als auch den rechten Kontext eines maskierten Tokens, was zu einem besseren Sprachverständnis führt.
• Pretraining für Downstream-Aufgaben: Masked Language Modeling eignet sich hervorragend als Pretraining-Technik für verschiedene NLP-Aufgaben. MLMs können umfangreiche Sprachrepräsentationen erlernen, die dann für Aufgaben wie Sentiment-Analyse, Textklassifikation oder Named Entity Recognition feinabgestimmt werden können.
• Transfer Learning: MLMs wie BERT zeigen starke Transfer-Learning-Fähigkeiten. Das Initialtraining auf großen, unlabeled Datenmengen hilft dem Modell, allgemeines Sprachverständnis zu erlangen, das dann auf kleinere, spezifische Datensätze für spezielle Aufgaben angewendet werden kann.

Webinar: Künstliche Intelligenz – Grundlagen und Best Practices

Sie möchten gerne mehr zum Thema Künstliche Intelligenz erfahren und wie Ihr Unternehmen davon profitieren kann? In unserem Webinar fassen wir Ihnen die wichtigsten Aspekte zusammen!

Jetzt anmelden

Masked Language Models im Vergleich zu anderen Modellen

Im Vergleich zu Causal Language Models (CLM) und Word2Vec zeigen sich bei MLMs grundlegende Unterschiede:

Causal Language Models (CLM), wie sie in GPT-Modellen verwendet werden, konzentrieren sich darauf, das nächste Wort in einer Sequenz basierend auf den vorhergehenden Wörtern zu prognostizieren. Sie arbeiten also unidirektional, während MLMs bidirektionale Abhängigkeiten berücksichtigen.

Word2Vec ist ein anderes unsupervised Modell, das Wortvektoren lernt, jedoch nicht die gleiche bidirektionale Kontextinformation wie MLMs verwendet. Es erlernt die semantischen Beziehungen zwischen Wörtern, verwendet dabei jedoch keinen Maskierungsmechanismus.

Beliebte Masked Language Models

Einige der bekanntesten MLMs sind:

• BERT: Das am weitesten verbreitete MLM, das auf großen, unlabeled Textdaten vortrainiert wurde und auf eine Vielzahl von NLP-Aufgaben angewendet werden kann.
• RoBERTa: Eine verbesserte Version von BERT, die die Effizienz des Pretrainings steigert und durch das Trainieren auf mehr Daten sowie das Entfernen bestimmter Trainingsziele die Leistung verbessert.
• ALBERT: Eine leichtere Version von BERT, die die Modellgröße und die Rechenanforderungen reduziert, ohne die Leistung zu beeinträchtigen.
• GPT: Ein weiteres populäres Modell, das mit einem unidirektionalen Ansatz arbeitet, aber durch seine Architektur und Anwendung auf Textgenerierung ebenfalls hochentwickelte Ergebnisse in NLP-Aufgaben erzielt.

Fazit

Masked Language Models haben die Art und Weise, wie Maschinen Sprache verstehen, revolutioniert. Durch die Fähigkeit, den Kontext von Wörtern zu erfassen und fehlende Informationen vorherzusagen, bieten sie enorme Vorteile für viele Anwendungen der natürlichen Sprachverarbeitung. Sie sind die Grundlage für viele der fortschrittlichsten Modelle wie BERT und RoBERTa und ermöglichen eine effiziente Übertragung von Wissen auf verschiedenste Aufgaben in der NLP.

FAQ

Was sind Masked Language Models (MLMs)?

MLMs sind Modelle in der NLP, die maskierte Wörter in einem Text basierend auf dem Kontext vorhersagen. Sie nutzen selbstüberwachtes Lernen, indem sie sich ausschließlich auf Textdaten stützen. Bekannte Modelle wie BERT und RoBERTa basieren auf diesem Ansatz.

Wie funktionieren Masked Language Models?

MLMs maskieren zufällig Wörter in einem Satz und trainieren das Modell, diese anhand des Kontexts vorherzusagen. Modelle wie BERT nutzen dabei eine bidirektionale Perspektive, um Abhängigkeiten zwischen Wörtern im gesamten Satz zu verstehen.

Welche Vorteile bieten Masked Language Models?

MLMs verbessern das Sprachverständnis, berücksichtigen den Kontext in beide Richtungen und eignen sich hervorragend für Pretraining und Transfer Learning. Sie bilden die Grundlage vieler moderner NLP-Anwendungen wie Textklassifikation und Sentiment-Analyse.