Erste Schritte mit Alibaba Qwen 2.5 Max: Ein Leitfaden zur Feinabstimmung für Anfänger

KI-Modelle sind leistungsstarke Tools, aber was wäre, wenn Sie eines davon zu einem echten Experten auf Ihrem Gebiet machen könnten? 

Hier kommt die Feinabstimmung ins Spiel. 

Durch Feinabstimmung können Sie ein allgemeines KI-Modell nehmen und es weiter trainieren, um es auf Ihren individuellen Anwendungsfall zu spezialisieren, sei es:

• Gesundheitspflege
• Finanzen
• Bildung oder etwas ganz anderes.

Ein solches Modell, das es wert ist, untersucht zu werden, ist Qwen 2.5 von Alibaba – ein robustes und vielseitiges großes Sprachmodell, das für verschiedene Aufgaben entwickelt wurde. 

Um tiefer in alles einzutauchen, was Qwen bietet und warum es wichtig ist, diese Aufschlüsselung von Alibabas LLM ist ein guter Ausgangspunkt.

In diesem Blog erfahren Sie:

• Was ist Feinabstimmung?
• So optimieren Sie Qwen 2.5 (ohne technische Hilfsmittel)
• Best Practices zur Feinabstimmung von Qwen 2.5 (die Sie auch auf andere LLMs anwenden können)
  

Diese einfache Anleitung führt Sie durch den gesamten Feinabstimmungsprozess und macht ihn für Anfänger einfach und leicht.

Was ist Feinabstimmung und warum müssen Sie darüber Bescheid wissen?

Beim Feintuning wird ein vorab trainiertes Modell verwendet und mindestens einer seiner internen Parameter trainiert, beispielsweise die Gewichte oder Biase innerhalb eines neuronalen Netzwerks, um es besser an Ihre spezifischen Anforderungen anzupassen.

Sagen wir es so: Wenn Qwen ein frisch aus einer Kohlenmine geholter Diamant ist, dann ist Feintuning der Prozess, diesen Diamanten zu schleifen und zu polieren, um ihn zu etwas Funktionalem zu machen, wie zum Beispiel einem Diamantring. 

Es nimmt etwas Kraftvolles in seiner Rohform und macht mehr daraus:

• Praktisch
• Zielgerichtet
• Auf einen bestimmten Anwendungsfall ausgerichtet.

Genau das passiert, wenn ein Basismodell wie Qwen zu etwas wie Qwen 2.5 Max weiterentwickelt wird. 

Das Ergebnis? 

Ein Modell, das genauer, effizienter und besser an reale Anwendungen angepasst ist.

Warum ist Feinabstimmung wichtig?

Hier ist die wichtigste Erkenntnis: Ein kleineres, fein abgestimmtes Modell kann ein größeres, generisches Modell oft übertreffen. 

Dies wurde erstmals von OpenAI mit seinen InstructGPT-Modellen gezeigt und gilt auch heute noch.

Dies ist einer der größten Vorteile der Feinabstimmung.

Sie benötigen nicht immer ein umfangreiches Allzweck-LLM, um für eine bestimmte Aufgabe eine hohe Leistung zu erzielen.

Du kannst:

• Nehmen Sie ein Open-Source-Modell
• Optimieren Sie es von Ihrem Laptop aus,

Und das Beste daran? 

Sie müssen kein Entwickler oder Datenwissenschaftler sein.

Wenn Sie auch nur ein wenig technisch versiert sind, können Sie loslegen.

Warum Feinabstimmung LLMs tatsächlich nützlich macht

Das ist Ihnen beim Herumexperimentieren mit LLMs wahrscheinlich schon aufgefallen: Sie eignen sich hervorragend für allgemeine Fragen, sind aber nicht so scharfsinnig, wenn es um domänenspezifische Aufgaben geht.

Hier kommt die Feinabstimmung wirklich zum Tragen.

Dies gilt insbesondere, wenn man bedenkt, wie Chinesische KI-Startups und Tech-Giganten nutzen die Feinabstimmung, um Modelle zu schaffen, die mit den besten im Westen mithalten können.

Nehmen wir an, Sie möchten, dass sich ein Modell wie ein Schadensregulierer einer Versicherung verhält.

Sie könnten in Ihrer Aufforderung immer wieder daran erinnern, in professionellem Ton und mit Kenntnissen der Versicherungspolicen zu antworten …

Oder

Sie könnten es einfach anhand von Beispielen verfeinern, die zeigen, wie ein Schadensregulierer spricht und arbeitet.

Auf diese Weise ist das Modell bereits „weiß„Wie man sich verhält – es sind keine ständigen Anweisungen nötig.“

Genau das erreichen Sie mit Feintuning

• Bessere, präzisere Antworten mit kürzeren Eingabeaufforderungen
• Schnellere Reaktionszeit (geringere Inferenzlatenz)
• Geringere Rechenkosten
• Ein Modell, das Ihre Domäne wie ein Profi versteht

Arten der Feinabstimmung

Es gibt drei gängige Methoden zur Feinabstimmung eines Modells:

1. Selbstüberwachtes Lernen:

Das Modell lernt aus nicht gekennzeichneten Daten, indem es Teile des Textes vorhersagt (z. B. fehlende Wörter).

2. Überwachtes Lernen:

Sie geben dem Modell Input-Output-Paare (Fragen + richtige Antworten).

3. Bestärkendes Lernen:

Das Modell lernt durch Feedback (wie Daumen hoch/runter) und passt sein Verhalten entsprechend an.

Was ist Qwen 2.5 und warum sollte man es verwenden?

Qwen 2.5 ist ein von Alibaba entwickeltes großes Sprachmodell (LLM). 

Es ist Teil der Qwen-Familie, die Modelle in verschiedenen Größen wie 0,5B, 7B und sogar 72B umfasst (das „B“ steht für Milliarden von Parametern).

Es gibt zwei Arten von Qwen-Modellen:

1. Basismodelle:

Dies sind rohe, vortrainierte Modelle. 

Sie haben aus einer großen Datenmenge allgemeine Sprachmuster gelernt, diese jedoch nicht auf spezifische Aufgaben abgestimmt. 

Zum Beispiel: Qwen2.5-7B.

2. Auf Anweisungen abgestimmte Modelle:

Diese Modelle sind darauf abgestimmt, Anweisungen zu befolgen oder wie ein Chatbot zu reagieren. 

Sie sind für bestimmte Aufgaben ausgebildet, wie zum Beispiel:

• Beantwortung von Fragen
• Text zusammenfassen
• Gespräche führen. 

Beispiel: Qwen2.5-7B-Instruct.

Und wenn Sie sich fragen, wie Alibabas Ansatz im weltweiten Vergleich abschneidet, dieses Kopf-an-Kopf-Rennen zwischen OpenAI und Alibaba LLMs bietet einen nützlichen Kontext.

Wenn Sie von Qwen 2.5 Max sprechen, meinen Sie möglicherweise die größere oder leistungsstärkere Version der Qwen 2.5-Serie. 

Je nachdem, welche Version Sie verwenden, kann es sich um ein Basismodell oder ein auf Anweisungen abgestimmtes Modell handeln.

Wenn Sie Qwen für Ihre eigene Aufgabe optimieren möchten (z. B. das Zusammenfassen von E-Mails oder das Klassifizieren von Kundensupporttickets), möchten Sie normalerweise mit einem Basismodell beginnen und es mit Ihren eigenen Daten weiter trainieren. 

Wenn Sie jedoch einen Chatbot oder etwas Interaktiveres erstellen, kann es Ihre Arbeit erleichtern, mit einem auf Anweisungen abgestimmten Modell zu beginnen.

Warum sollten Sie es verwenden?

Abgesehen von all den coolen Funktionen oben haben wir uns auch damit beschäftigt, was echte Benutzer sagen. 

Und die Bewertungen? 

Ziemlich solide:

• „Qwen 2.5 ist ein Wendepunkt.“
• „Qwen Max ist gut.“
• „Es wird darauf geschlafen.“
• „Es ist einfach zu verwenden und kostenlos – ich verwende es ständig.“

Wenn Sie also Entwickler, Forscher oder Startup-Gründer sind und nach einem intelligenten, schnellen und flexiblen KI-Modell suchen, ist Alibaba Qwen 2.5 Max einen Versuch wert.

Diese Gefühle spiegeln wider, was wir in der Community gesehen haben. 

Tatsächlich, diese Insider-Tipps zur Verwendung von Qwen 2.5 Max zeigen, wie flexibel und entwicklerfreundlich es ist.

Erste Schritte mit Alibaba Qwen 2.5 Max

Sind Sie gespannt darauf, Alibaba Qwen 2.5 Max auszuprobieren? 

Großartig! Der Zugriff und die Einrichtung sind einfach, auch für Anfänger.

Zugriff auf Qwen 2.5 Max

Sie können Qwen 2.5 Max sofort verwenden und es sogar optimieren durch:

• GitHub:

Alibaba hat das Modell als Open Source bereitgestellt. Besuchen Sie einfach die GitHub-Seite und folgen Sie den Einrichtungsanweisungen.

• Umarmendes Gesicht:

Wenn Sie mit Hugging Face besser zurechtkommen, können Sie das Modell direkt dort mit den Tools erkunden und ausführen.

• Alibaba Cloud:

Bevorzugen Sie eine Cloud-basierte Konfiguration? Sie können über das Model Studio von Alibaba Cloud auf das Modell zugreifen, ohne eigene Hardware einrichten zu müssen.

Sobald Sie die Grundlagen beherrschen, können Sie mit dem Experimentieren mit Alibaba AI Qwen 2.5 Max beginnen – egal, ob Sie einen Chatbot erstellen, Daten analysieren oder ihn für Ihren eigenen Anwendungsfall optimieren möchten.

Vorbereiten Ihres Datensatzes für die Feinabstimmung

Bevor Sie Qwen 2.5 Max optimieren, müssen Sie Ihren Datensatz vorbereiten.

Stellen Sie es sich so vor, als würden Sie Ihr Modell füttern: Je sauberer und relevanter Ihre Daten sind, desto besser ist die Leistung.

Welche Art von Daten funktioniert am besten?

Es hängt davon ab, was das Modell tun soll:

• Für einen Support-Chatbot → Verwenden Sie echte Chats oder FAQs.
• Zur Textzusammenfassung → Verwenden Sie lange Texte mit ihren Zusammenfassungen.
• Zur Codeerklärung → Verwenden Sie Codeausschnitte mit einfachen Erklärungen.
  

Kurz gesagt: Stellen Sie einfach sicher, dass jedes Beispiel klar zeigt, was das Modell lernen soll.

Einfache Tricks zum Formatieren, Skalieren und Bereinigen

Hier sind einige Tipps, um Ihre Daten sauber und nützlich zu halten:

Format:

Ihr Datensatz sollte im JSON-, CSV- oder Textformat vorliegen – je nachdem, was Ihr Skript oder Trainingsframework unterstützt.

Jedes Beispiel sollte folgendermaßen aussehen:

Größe:

• Beginnen Sie mit 500 bis 1000 Beispielen, das reicht aus, um brauchbare Ergebnisse zu sehen.
• Mehr Beispiele = besseres Lernen, aber Qualität ist wichtiger als Quantität.

Reinigungstipps:

• Entfernen Sie alle Rechtschreibfehler, fehlerhaften Sätze oder irrelevanten Informationen.
• Achten Sie auf eine einheitliche Sprache (vermeiden Sie eine Mischung zu vieler Stile).
• Kürzen Sie lange Antworten, wenn sie keinen Mehrwert bieten.
  

Nehmen wir beispielsweise an, Sie möchten das Modell trainieren, um Fragen wie ein Arzthelfer zu beantworten:

Wenn Sie diese Art von Struktur mit unterschiedlichen Fragen und Antworten wiederholen, verfügen Sie über einen soliden Datensatz für die Feinabstimmung.

Nachdem Ihre Daten nun bereit sind, können wir mit der schrittweisen Feinabstimmung von Qwen 2.5 fortfahren!

So optimieren Sie Alibaba AI Qwen 2.5 Max (Schritt für Schritt)

Prompte Engineering-Maßnahmen (die richtigen Anweisungen an ein KI-Modell geben) sind leistungsstark und funktionieren für viele Aufgaben gut.

Aber manchmal reichen Aufforderungen allein nicht aus. 

Hier kommt die Feinabstimmung ins Spiel.

Feinabstimmung bedeutet, ein vorhandenes Modell wie Qwen 2.5 Max zu nehmen und es anhand Ihrer eigenen Daten weiter zu trainieren, damit es für Ihre spezifische Aufgabe eine bessere Leistung erbringt.

Hier ist eine Schritt-für-Schritt-Anleitung, die Ihnen den Einstieg erleichtert.

Schritt 1: Erforderliche Bibliotheken installieren

Bevor Sie mit der Feinabstimmung des Qwen 2.5 Max-Modells beginnen, müssen Sie Ihre Python-Umgebung mit den richtigen Tools einrichten. 

So geht's:

• Stellen Sie sicher, dass Python installiert ist

Sie benötigen Python 3.8 oder höher. Sie können es von python.org herunterladen.

• Öffnen Sie Ihr Terminal oder Ihre Eingabeaufforderung
• Installieren Sie die erforderlichen Bibliotheken mit pip

Führen Sie diesen Befehl aus:

Dadurch erhalten Sie die Tools zum Laden von Modellen, Vorbereiten Ihrer Daten und Ausführen des Trainings.

Schritt 2: Laden Sie das Qwen 2.5-Modell

Sie können das Basismodell von Hugging Face oder Alibaba Cloud laden.

Im Code sieht es ungefähr so aus:

Schritt 3: Vorbereiten und Tokenisieren Ihrer Daten

Entscheiden Sie zunächst, was das Modell tun soll:

• Textzusammenfassung
• Textgenerierung
• Binäre Klassifizierung
• Fragen und Antworten usw.

Erstellen Sie dann Ihren Datensatz in Eingabe-Ausgabe-Paaren.

Beispiel:

Sobald Sie Ihre Daten haben, tokenisieren Sie sie (wandeln sie in Zahlen um, die das Modell versteht):

Schritt 4: Wählen Sie Ihren Feinabstimmungsansatz

Jetzt kommt eine wichtige Entscheidung: Wie möchten Sie das Modell trainieren?

• Vollständige Feinabstimmung (Aktualisierung aller Parameter)

Dies bedeutet, dass Sie das gesamte Modell neu trainieren – jede Gewichtung und Verzerrung.

Es gibt Ihnen die volle Kontrolle, erfordert jedoch enorme Rechenleistung und ist sehr teuer.

• Transferlernen (nur einige Ebenen aktualisieren)

Dabei friert man die meisten Schichten ein und trainiert nur die letzten paar.

Es ist günstiger und funktioniert in vielen Fällen gut.

• Parametereffiziente Feinabstimmung (PEFT)

Dies ist die leichteste Option.
Sie ändern das ursprüngliche Modell überhaupt nicht. 

Stattdessen fügen Sie einige zusätzliche Parameter hinzu (z. B. Adapter) und trainieren nur diese.

Eine beliebte Methode ist hier LoRA (Low-Rank Adaptation). 

Es ist günstig, schnell und überraschend leistungsstark.

Schritt 5: Trainingsparameter definieren

Stellen Sie nun ein, wie das Training ablaufen soll:

• Batchgröße
• Lernrate
• Anzahl der Trainingsepochen
  

Beispiel:

Schritt 6: Beginnen Sie mit dem Training

Verwenden Sie den Trainer von Hugging Face oder eine beliebige PyTorch-Schleife, um mit dem Training zu beginnen.

Sie werden sehen, dass der Verlust sinkt, während das Modell lernt.

Schritt 7: Modellleistung bewerten

Es ist wichtig zu überprüfen, wie gut Ihr Modell funktioniert.
Sie können grundlegende Messwerte wie Genauigkeit oder benutzerdefinierte Messwerte basierend auf Ihrer Aufgabe verwenden.

Auf diese Weise können Sie überwachen, ob Ihre Feinabstimmung tatsächlich zu besseren Ergebnissen führt.

Schritt 8: Speichern und Testen des Modells

Sobald das Training abgeschlossen ist, speichern Sie Ihr Modell:

Dann laden Sie es jederzeit herunter und testen Sie es mit echten Beispielen!

Durch Feinabstimmung können Sie einem leistungsstarken KI-Modell wie Qwen 2.5 Max beibringen, Ihre Daten, Ihren Ton und Ihre Ziele zu verstehen.

Sie müssen kein Entwickler oder Datenwissenschaftler sein.

Wenn Sie ein wenig Python kennen und experimentierfreudig sind, haben Sie es schon zur Hälfte geschafft.

Wenn Sie noch nicht wissen, welches Modell Ihren Anforderungen am besten entspricht, dieser Vergleich der Top-KI-Modelle bietet eine klare Aufschlüsselung der Leistung auf allen Ebenen.

Best Practices beim Feintuning von LLM-Modellen 

Die Feinabstimmung großer Sprachmodelle (LLMs) wie Qwen 2.5 kann komplex erscheinen, wird aber mit den richtigen Schritten viel einfacher. 

Hier sind einige bewährte Methoden, die Ihnen dabei helfen, bessere Ergebnisse zu erzielen, Zeit zu sparen und Rechenleistungsverschwendung zu vermeiden.

1. Vermeiden Sie Überanpassung:

Überanpassung bedeutet, dass Ihr Modell Ihre Trainingsdaten zu gut lernt, bei neuen Daten jedoch eine schlechte Leistung erbringt. 

So vermeiden Sie dies:

• Verwenden Sie Validierungsdaten (einen separaten Satz), um zu überprüfen, wie gut das Modell verallgemeinert.
• Versuchen Sie, frühzeitig aufzuhören: Beenden Sie das Training, wenn sich der Validierungsverlust nicht mehr verbessert.
• Halten Sie die Trainingsdaten sauber und vielfältig, nicht repetitiv.
• Verwenden Sie Parameter-Efficient Fine-Tuning (PEFT)-Methoden wie LoRA oder LoRA+, um das Risiko einer Überanpassung zu verringern, indem Sie nur einen kleinen Teil des Modells trainieren.
  

2. Verlust und Leistung überwachen:

Verfolgen Sie während des Trainings immer:

• Trainingsverlust: Wie gut das Modell aus den angezeigten Daten lernt.
• Validierungsverlust: Wie gut die Leistung bei unbekannten Daten ist.
• Metriken wie Genauigkeit, F1-Score oder andere, basierend auf Ihrer Aufgabe.
  

Tipp: Diagramme sind Ihre Freunde!

Durch die Visualisierung des Verlusts können Sie Probleme frühzeitig erkennen – beispielsweise, wenn Ihr Trainingsverlust sinkt, der Validierungsverlust jedoch steigt (ein klassisches Zeichen für Überanpassung).

3. Wissen, wann Sie mit dem Training aufhören müssen:

Führen Sie das Training nicht einfach 20 Epochen lang durch, „weil es sich gut anhört“. 

Stattdessen:

• Stoppen Sie, wenn der Validierungsverlust stagniert oder zu steigen beginnt
• Verwenden Sie Rückrufe wie „early_stopping“ in Trainingsbibliotheken
• Vertrauen Sie Ihren Diagrammen – wenn sie keine Verbesserung zeigen, ist es Zeit aufzuhören.

Bei der Feinabstimmung wählen Sie normalerweise die Anzahl der gewünschten Epochen basierend auf:

• Wie groß Ihr Datensatz ist
• Wie lange Sie bereit sind zu trainieren
• Wenn das Modell gute Ergebnisse liefert.

4. Experimentieren Sie mit verschiedenen Feinabstimmungstechniken:

Nicht alle Feinabstimmungsmethoden funktionieren gleich. 

Versuchen:

• LoRA (Low-Rank Adaptation) – schnell, effizient und ideal für begrenzte Ressourcen.
• LoRA+ – eine verbesserte Version, die bei schwierigen Aufgaben bessere Ergebnisse liefert. Sie ist in der peft-Bibliothek verfügbar und verlangsamt das Training nicht.
• DoRA – erste Tests lassen darauf schließen, dass es keine große Verbesserung bringt, aber versuchen Sie es ruhig.
• GaLore oder QGaLore – nutzt den Speicher intelligent und ist ein guter Mittelweg zwischen LoRA und vollständiger Feinabstimmung.
  

Wenn LoRA oder GaLore Ihnen solide Ergebnisse liefern, sollten Sie erst dann eine vollständige Feinabstimmung in Betracht ziehen (die sehr ressourcenintensiv ist).

5. Wählen Sie die richtigen Module zum Optimieren aus:

Bei Verwendung der LoRA-basierten Feinabstimmung:

• Tuning vermeiden v_proj Und down_proj-Ebenen– sie profitieren nicht viel von Updates mit niedrigem Rang (basierend auf dem WeLoRA-Papier).
• Konzentrieren Sie sich auf die Ebenen, auf denen Änderungen am wichtigsten sind – normalerweise die Aufmerksamkeits- und MLP-Ebenen.
  

6. Sparen Sie Geld und beschleunigen Sie die Dinge:

Feinabstimmung kann teuer werden. 

Einige Tools, um es billiger und schneller zu machen:

• Verwenden Sie zum Testen 4-Bit-QLoRA auf leichten Modellen wie Mistral.
• Probieren Sie kostensparende Tools wie Liger, FlashAttention (FA), DeepSpeed ZeRO Stage 3 und Unsloth (über das Axolotl-Framework) aus.

Mithilfe dieser Optionen können Sie Modelle schneller und mit weniger Speicher- und Kostenaufwand trainieren.

7. Verbessern Sie Ihren Datensatz kontinuierlich:

Ihr Modell ist nur so gut wie Ihre Daten.

• Verfeinern Sie Ihren Datensatz so lange, bis er klar, genau und vielfältig ist.
• Entfernen Sie Rauschen, Wiederholungen und irrelevante Beispiele.
• Generieren Sie bei Bedarf bessere synthetische Daten mithilfe eines leistungsfähigeren Modells.
  

8. Optimieren Sie Ihre Hyperparameter:

Hyperparameter (wie Lernrate, Batchgröße usw.) steuern, wie Ihr Modell lernt.

• Führen Sie einen Parameter-Sweep durch – probieren Sie einige Kombinationen aus und sehen Sie, was am besten funktioniert.
• Achten Sie auf die „Goldlöckchen-Zone“: nicht zu schnell, nicht zu langsam – genau richtig.
  

9. Lernen Sie, Diagramme zu lesen:

Mithilfe von Diagrammen können Sie die Geschichte hinter den Zahlen erkennen.

• Verwenden Sie Tools wie TensorBoard oder W&B (Weights & Biases).
• Achten Sie auf gleichmäßige, stetige Verlustrückgänge, nicht auf scharfe Spitzen.
• Verfolgen Sie die Metriken im Laufe der Zeit, um Verbesserungen oder Probleme zu erkennen.
  

Abschließend…

Machen Sie sich keine Sorgen über die kleinen Verbesserungen des 10%, wenn Sie den Kern des 90% noch nicht verstanden haben.

Fangen Sie einfach an. Optimieren Sie schrittweise. Testen Sie oft. 

Und am wichtigsten ist, dass Sie verstehen, was Ihr Modell tut und warum.

Fazit: Machen Sie Alibaba Qwen 2.5 zu Ihrem Vorteil

Durch die Feinabstimmung des Alibaba AI Qwen 2.5 Max oder eines beliebigen Muttermodells können Sie es ganz nach Ihren Wünschen gestalten – so, dass es zu Ihrem spezifischen Bereich oder Ihrer Aufgabe passt. 

Ob es ist:

• Bessere Zusammenfassungen schreiben
• Beantwortung von Kundenanfragen
• Juristische Dokumente verstehen.

Sie erzielen bessere Ergebnisse, indem Sie einfach mit dem richtigen Basismodell beginnen und die richtige Art von Trainingsdaten verwenden.

Es ist nicht schwer. Machen Sie sich einfach klar, was das Modell tun soll, und trainieren Sie es mit entsprechenden Beispielen. 

Das ist das Schöne an der Feinabstimmung: bessere Leistung ohne ein riesiges Modell zu benötigen.

Also los – experimentieren Sie mit Qwen 2.5, testen Sie Dinge und sorgen Sie dafür, dass es in Ihrer Welt funktioniert.

Möchten Sie sehen, was China sonst noch im KI-Bereich baut? Hier sind 5 mutige und heimliche chinesische KI-Startups die leise Wellen schlagen.

Möchten Sie die neuesten Erkenntnisse und Trends im Bereich KI direkt in Ihren Posteingang erhalten? 

Abonnieren Newsletter von AI Business Asia heute und bleiben Sie der Konkurrenz immer einen Schritt voraus.