Q-Learning ist ein Teilgebiet des maschinellen Lernens und eine beliebte Methode aus dem Bereich des Reinforcement Learnings (verstärkendes Lernen). Programme sollen dabei selbständig lernen Aufgaben durch Ausprobieren zu lösen. Der Hauptunterschied zu anderen Lernmethoden besteht darin, dass Q-Learning keine vollständige Kenntnis des Umgebungsmodells benötigt. Stattdessen lernt es durch Interaktion mit der Umgebung und zählt dadurch zu den model-free Reinforcement-Learning-Algorithmen.

Grundlagen des Q-Learning

Die Grundidee ist einfach: Ein Computerprogramm – der sogenannte Agent – lernt durch Ausprobieren. Es probiert verschiedene Handlungen aus, bekommt dafür positives oder negatives Feedback (eine Belohnung oder Strafe) und verbessert so Schritt für Schritt sein Verhalten.

Wie funktioniert das Prinzip?

Man kann sich das Ganze wie ein Spiel vorstellen:

  1. Der Agent befindet sich in einem bestimmten Zustand.
  2. Er entscheidet sich für eine Aktion – also einen nächsten Schritt.
  3. Die Umgebung reagiert darauf: Der Zustand verändert sich, und der Agent erhält eine Belohnung (z. B. +10 Punkte) oder eine Strafe (z. B. –5 Punkte).
  4. Daraus lernt der Agent, was gut war – und was nicht.

Ziel ist es, langfristig möglichst viele Belohnungen zu bekommen. Der Agent will also lernen, welche Handlungen ihn zum Erfolg führen.

Die Q-Tabelle – das Gedächtnis des Agenten

Die Q-Tabelle ist das Herzstück des Q-Learnings. Sie speichert die sogenannten Q-Werte, die anzeigen, welche Aktion in welchem Zustand gut funktioniert hat.

Die Q-Werte helfen dem Agenten dabei nach und nach ein Wissensnetz aufzubauen. Die Tabelle wird dabei während des Lernprozesses immer weiter aktualisiert, basierend auf den Belohnungen und Strafen.

So ermöglicht die Q-Tabelle dem Agenten:

  • Entscheidungen zu treffen: Der Agent wählt immer die Aktion mit dem höchsten Q-Wert in einem Zustand.
  • Zu lernen: Der Agent passt die Q-Werte an, um aus Fehlern zu lernen und die besten Wege zu finden.
  • Effizient zu handeln: Sobald die Tabelle vollständig ist, kennt der Agent die optimale Strategie.

Während des Q-Learnings aktualisiert sich die Q-Tabelle also kontinuierlich mit jeder Aktion, die der Agent ausführt. Dieser Prozess wiederholt sich dann so lange, bis ein festgelegter Endzustand erreicht wird. Nach Abschluss dieses Lernprozesses kann der Agent bereits mit den zuvor erlernten Q-Werten aus der Tabelle starten, wodurch er zunehmend bessere Entscheidungen trifft.

Wir fassen also zusammen:

  • Der Agent lernt aus Erfahrung, nicht durch Vorgaben.
  • Gute Entscheidungen führen zu mehr Belohnung – das merkt er sich.
  • Schlechte Entscheidungen korrigiert er im Laufe der Zeit.

Erweiterungen des Q-Learnings

Obwohl das klassische Q-Learning eine leistungsstarke Methode im Reinforcement Learning ist, stößt es bei komplexen Problemen mit hohen Dimensionen oder unvorhersehbaren Übergangsfunktionen an seine Grenzen. Daher entwickelten sich im Laufe der Zeit Erweiterungen des Q-Learnings, um ebendiese Herausforderungen zu bewältigen. Dazu einmal drei gängige Varianten:

Deep Q-Learning

Q-Learning scheitert bei großen oder kontinuierlichen Zustandsräumen oft, da das Speichern und Aktualisieren einer Q-Tabelle unpraktisch wird. Deep Q-Learning verwendet daher neuronale Netze, um sich an die Q-Werte anzunähern, wodurch der Algorithmus auch bei hochdimensionalen Zustandsräumen effizient arbeiten kann.

Double Q-Learning

Das klassische Q-Learning neigt dazu, Q-Werte zu überschätzen, da die gleiche Q-Tabelle sowohl für die Aktionsauswahl als auch für die Bewertung verwendet wird. Das Double Q-Learning trennt die Aktionsauswahl und die Bewertung der Aktionen in zwei unterschiedliche Q-Schätzungen, was zu stabileren und genaueren Werten führt.

Nash Q-Learning

Klassisches Q-Learning ist für Mehrspielerumgebungen dahingehend ungeeignet, da es keine Strategien berücksichtigt, bei denen mehrere Agenten strategisch interagieren. Nash Q-Learning nutzt Konzepte aus der Spieltheorie, wie das Nash-Gleichgewicht, um Agenten Entscheidungen treffen zu lassen, die ihre Strategien an die Aktionen anderer Agenten anpassen.

Webinar: KI-Agenten im Unternehmen:
Was diese neue Technologie ist und wie Sie jetzt profitieren können

In diesem Webinar erfahren Sie alles, was Sie über KI-Agenten wissen müssen: Was sind diese Agenten, was macht sie besonders und wie können Unternehmen sie heute schon sinnvoll einsetzen?
Jetzt anmelden

Vor- und Nachteile

Q-Learning bringt viele Vorteile mit sich:

  • Model-Free Algorithmus: Es ist kein vordefiniertes Modell der Umgebung erforderlich und daher eignet es sich für komplexe oder unbekannte Umgebungen.
  • Effektiv in stochastischen Umgebungen: Es erweist sich als robust gegenüber Zufälligkeiten und Unsicherheiten in der Umgebung.
  • Einfache Implementierung: Es ist leicht verständlich und mit minimalen theoretischen Voraussetzungen umsetzbar.
  • Konvergenz: Es garantiert langfristig die Annäherung zu einer optimalen Strategie, wenn ausreichend Zeit gegeben ist.

Ebenso gilt es einige Nachteile zu bedenken:

  • Langsame Konvergenz: Es kann bei komplexen Aufgaben viele Episoden benötigen, um optimale Ergebnisse zu erzielen.
  • Unpraktisch bei großen Zustandsräumen: Ein hoher Speicherbedarf und Ineffizienz bei wachsenden oder kontinuierlichen Zustandsräumen.
  • Exploration-Exploitation-Problematik: Schwieriges Gleichgewicht zwischen der Erkundung neuer Optionen und der Nutzung bestehender Kenntnisse.
  • Empfindlichkeit gegenüber Hyperparametern: Das Modell reagiert empfindlich auf bestimmte Einstellungen wie die Lernrate, den Abzinsungsfaktor und die Entdeckungsrate. Wenn diese Werte nicht gut ausgewählt sind, kann das Modell schlechter funktionieren.

Einsatzbereiche

Q-Learning wird in Situationen genutzt, in denen ein Computer Schritt für Schritt lernen muss, wie er sich am besten verhält – besonders in sich verändernden Umgebungen. Zum Beispiel: um den besten Weg für Roboter oder selbstfahrende Autos zu finden, kluge Spielfiguren in Computerspielen zu entwickeln, Ressourcen im Gesundheitsbereich gut zu verteilen oder um im Handel Geld zu verdienen.

E-Book Use Cases KI in Unternehmen

NEU: E-Book: 40 Use Cases von KI in Unternehmen

In diesem kostenlosen E-Book finden Sie konkrete Beispiele, wie KI in den verschiedensten Abteilungen eines Unternehmens Mehrwert schaffen kann.

jetzt herunterladen

Fazit

Q-Learning ist eine mächtige und flexible Technik des Reinforcement Learnings, die es einem Agenten ermöglicht, optimale Entscheidungen in komplexen Umgebungen zu treffen. Es bleibt damit aufgrund seiner Einfachheit und auch seiner Erweiterbarkeit ein grundlegendes Werkzeug im Bereich der künstlichen Intelligenz.

FAQ

Was ist Q-Learning?

Q-Learning ist ein Lernverfahren, bei dem ein Computer (Agent) lernt, in einer Umgebung die besten Entscheidungen zu treffen, damit er auf Dauer möglichst viele Belohnungen bekommt.

Was ist eine Q-Tabelle?

Eine Q-Tabelle ist eine strukturierte Tabelle, in der für jeden Zustand und jede mögliche Aktion die geschätzte Belohnung (Q-Wert) gespeichert wird, die der Agent durch diese Aktion im jeweiligen Zustand erwartet.

Wieso gibt es Erweiterungen des Q-Learnings?

Es gibt verschiedene Erweiterungen des Q-Learnings, um spezifische Probleme zu lösen, wie z. B. die langsame Konvergenz, Überbewertung von Q-Werten oder die Anpassung an komplexe und dynamische Umgebungen.