MLOps

Patrick Höfer

23. Oktober 2024

Warum ist MLOps erforderlich?

Die Entwicklung und Produktion von Machine-Learning-Modellen ist ein komplexer Prozess, der aus vielen Schritten besteht, darunter Dateningestion, Datenaufbereitung, Modelltraining und -tuning, Bereitstellung und Überwachung. MLOps spielt hier eine zentrale Rolle, indem es diese Schritte automatisiert, skaliert und sicherstellt, dass die verschiedenen Teams, wie Data Science, IT und DevOps, effizient zusammenarbeiten. Eine optimale MLOps-Implementierung ermöglicht die Veröffentlichung neuer ML-Modelle parallel zu Anwendungscode- und Datenänderungen. Das Ziel ist es, die Bereitstellung von ML-Modellen so effizient und reibungslos wie möglich zu gestalten.

E-Book: Künstliche Intelligenz für Entscheider

Künstliche Intelligenz für Unternehmen: Ein Ratgeber für Entscheider

Jetzt herunterladen

E-Book: Künstliche Intelligenz für Entscheider

×

Die Hauptvorteile von MLOps

• Effizienz: Durch MLOps können Unternehmen die Geschwindigkeit der Modellentwicklung und -bereitstellung erhöhen. Automatisierte Prozesse wie CI/CD (Continuous Integration and Continuous Delivery) tragen zur Effizienzsteigerung bei, indem sie die häufigen Iterationen bei der Modellentwicklung und -überwachung erleichtern.
• Skalierbarkeit: MLOps ermöglicht es Unternehmen, eine große Anzahl von ML-Modellen effizient zu verwalten. Tausende von Modellen können gleichzeitig überwacht, aktualisiert und bereitgestellt werden.
• Risikoreduktion: MLOps hilft Unternehmen, regulatorische Anforderungen zu erfüllen, indem es die Nachverfolgbarkeit von Modellen, Datensätzen und Bereitstellungen sicherstellt. Modelle werden kontinuierlich auf Genauigkeit und Compliance überwacht, um Risiken zu minimieren.

Kernkomponenten von MLOps

Der Umfang von MLOps in Machine-Learning-Projekten kann variieren, je nach Bedarf des Unternehmens. Typische Bereiche, in denen MLOps angewendet wird, umfassen:

• Explorative Datenanalyse (EDA): Wiederholbare, editierbare und teilbare Datensätze und Visualisierungen, um die Daten für die Modellentwicklung vorzubereiten.
• Datenvorbereitung und Feature Engineering: Transformieren, aggregieren und bereinigen von Daten, um qualitativ hochwertige Features zu erstellen, die über einen Feature Store mit anderen Teams geteilt werden können.
• Modelltraining und -tuning: Verwendung von Open-Source-Bibliotheken wie scikit-learn oder AutoML-Tools, um die Modellentwicklung zu beschleunigen.
• Modellüberprüfung und Governance: Verfolgen von Modellversionen und deren Lebenszyklen, um Modelle transparent zu überwachen und auf regulatorische Anforderungen zu reagieren.
• Modellinferenz und -bereitstellung: Sicherstellen, dass Modelle regelmäßig aktualisiert und auf Produktionsniveau getestet werden, um eine kontinuierliche Bereitstellung zu gewährleisten.
• Automatisierte Modell-Neuschulung: Automatisierte Systeme, die Modelle neu trainieren, wenn Daten- oder Modelländerungen festgestellt werden.

Wichtige Prinzipien von MLOps

Versionskontrolle

Ähnlich wie bei der Softwareentwicklung ist die Versionskontrolle für die Nachvollziehbarkeit und Reproduzierbarkeit von ML-Modellen entscheidend. Jede Änderung im ML-Trainingscode, den Daten oder Modellen wird verfolgt und versioniert.

Automatisierung

Automatisierung ist das Herzstück von MLOps. Verschiedene Phasen der Pipeline, wie Datenvorbereitung, Modelltraining und Validierung, werden automatisiert, um Konsistenz und Wiederholbarkeit zu gewährleisten.

Kontinuierliches X

Hierzu gehören kontinuierliche Integration, kontinuierliche Bereitstellung, kontinuierliches Training und kontinuierliche Überwachung. Änderungen an Modellen, Daten oder Code lösen automatisch den Trainings- und Bereitstellungsprozess aus.

Modell-Governance

Die Überwachung und Verwaltung der gesamten ML-Pipeline ist von zentraler Bedeutung. Dies umfasst das Sammeln von Feedback zu Modellvorhersagen, den Schutz sensibler Daten und die Sicherstellung der Compliance mit gesetzlichen Vorschriften.

MLOps vs. DevOps

MLOps und DevOps ähneln sich, da beide darauf abzielen, den Prozess der Entwicklung, Bereitstellung und Überwachung von Software zu optimieren. Während DevOps jedoch auf den klassischen Softwareentwicklungszyklus fokussiert ist, bezieht sich MLOps speziell auf Machine-Learning-Projekte. Diese beinhalten nicht nur Code, sondern auch komplexe Daten- und Modellierungsanforderungen, die eine kontinuierliche Überwachung, Anpassung und Neuschulung erfordern.

Reifegrade von MLOps

Die Implementierung von MLOps kann in drei Stufen unterteilt werden:

• MLOps Stufe 0: Unternehmen beginnen mit manuellen ML-Workflows, bei denen jeder Schritt, von der Datenvorbereitung bis zur Modellerstellung und -validierung, manuell ausgeführt wird.
• MLOps Stufe 1: Diese Phase zielt auf die Automatisierung der ML-Pipeline ab, um Modelle kontinuierlich zu trainieren und bereitzustellen.
• MLOps Stufe 2: Diese Stufe richtet sich an Unternehmen, die eine große Anzahl von Modellen verwalten und regelmäßig neue Modelle trainieren und einsetzen müssen. Hier werden Pipelines automatisiert und orchestriert, um die kontinuierliche Bereitstellung und Überwachung sicherzustellen.

Webinar: Künstliche Intelligenz – Grundlagen und Best Practices

Sie möchten gerne mehr zum Thema Künstliche Intelligenz erfahren und wie Ihr Unternehmen davon profitieren kann? In unserem Webinar fassen wir Ihnen die wichtigsten Aspekte zusammen!

zur Anmeldung

MLOps und Large Language Models (LLMs)

Beim Training von großen Large Language Models (LLMs) wie Dolly gibt es einige Unterschiede zum traditionellen MLOps. Die Berechnungskomplexität und die Notwendigkeit spezialisierter Hardware wie GPUs machen das Training und die Bereitstellung von LLMs anspruchsvoller. Techniken wie Transfer Learning und die Optimierung von Hyperparametern sind hier entscheidend, um die Effizienz und Kosten zu optimieren.

Fazit

MLOps ist unverzichtbar für Unternehmen, die Machine-Learning-Modelle effektiv nutzen wollen, um einen Wettbewerbsvorteil zu erzielen. Durch die Automatisierung und Optimierung der gesamten Pipeline können Unternehmen schneller und effizienter auf Marktveränderungen reagieren, ihre Modelle in Produktion bringen und den Mehrwert von Machine Learning kontinuierlich steigern.