Premiers pas avec Alibaba Qwen 2.5 Max : Guide du débutant pour un réglage précis

Les modèles d’IA sont des outils puissants, mais que se passerait-il si vous pouviez faire de l’un d’eux un véritable expert dans votre domaine ? 

C'est là qu'intervient le réglage fin. 

En affinant, vous pouvez prendre un modèle d'IA général et le former davantage pour le spécialiser dans votre cas d'utilisation unique, qu'il s'agisse de :

• Soins de santé
• Finance
• L’éducation, ou quelque chose de complètement différent.

L'un de ces modèles qui mérite d'être exploré est Qwen 2.5 d'Alibaba, un modèle de langage robuste et polyvalent conçu pour diverses tâches. 

Pour une plongée en profondeur dans tout ce que Qwen offre et pourquoi c'est important, cette répartition du LLM d'Alibaba est un bon point de départ.

Dans ce blog, vous apprendrez :

• Qu'est-ce que le réglage fin ?
• Comment peaufiner Qwen 2.5 (méthode non technique)
• Bonnes pratiques pour peaufiner Qwen 2.5 (que vous pouvez également appliquer à d'autres LLM)
  

Ce guide simple vous guidera tout au long du processus de réglage fin, le rendant simple et facile pour les débutants.

Qu’est-ce que le réglage fin et pourquoi devez-vous le savoir ?

Le réglage fin est le processus consistant à prendre un modèle pré-entraîné et à entraîner au moins un de ses paramètres internes, comme les poids ou les biais à l'intérieur d'un réseau neuronal, pour le rendre mieux adapté à vos besoins spécifiques.

Disons les choses ainsi : si Qwen est un diamant fraîchement sorti d'une mine de charbon, alors le réglage fin est le processus de taille et de polissage de ce diamant pour en faire quelque chose de fonctionnel, comme une bague en diamant. 

Il prend quelque chose de puissant dans sa forme brute et le rend plus :

• Pratique
• Déterminé
• Aligné sur un cas d'utilisation spécifique.

C'est exactement ce qui se passe lorsqu'un modèle de base comme Qwen est raffiné en quelque chose comme Qwen 2.5 Max. 

Le résultat ? 

Un modèle plus précis, plus efficace et mieux adapté aux applications du monde réel.

Pourquoi le réglage fin est-il important ?

Voici l’idée clé : un modèle plus petit et affiné peut souvent surpasser un modèle générique plus grand. 

Cela a été démontré pour la première fois par OpenAI avec ses modèles InstructGPT, et cela reste vrai aujourd'hui.

C’est l’un des plus grands avantages du réglage fin.

Vous n’avez pas toujours besoin d’un LLM à usage général massif pour obtenir des performances élevées pour une tâche particulière.

Tu peux:

• Adopter un modèle open source
• Ajustez-le depuis votre ordinateur portable,

Et la meilleure partie ? 

Vous n’avez pas besoin d’être un développeur ou un data scientist.

Si vous êtes un tant soit peu féru de technologie, vous êtes prêt à partir.

Pourquoi le perfectionnement rend les LLM réellement utiles

Vous l'avez probablement remarqué après avoir joué avec les LLM : ils sont parfaits pour les questions générales, mais pas aussi précis lorsqu'il s'agit de tâches spécifiques à un domaine.

C'est là que le réglage fin brille vraiment.

C'est particulièrement vrai quand on regarde comment Startups chinoises de l'IA et géants de la technologie Ils s’appuient sur des ajustements précis pour créer des modèles qui rivalisent avec les meilleurs en Occident.

Disons que vous souhaitez qu’un modèle se comporte comme un expert en sinistres d’assurance.

Vous pourriez continuer à lui rappeler dans votre message de répondre avec un ton professionnel et une connaissance des polices d’assurance…

Ou

Vous pourriez simplement l’affiner avec des exemples de la façon dont un expert en sinistres parle et travaille.

De cette façon, le modèle est déjà «sait« Comment agir – aucune instruction constante n’est nécessaire.

C'est exactement ce que vous obtenez avec le réglage fin

• Des réponses meilleures et plus précises avec des invites plus courtes
• Temps de réponse plus rapide (latence d'inférence plus faible)
• Des coûts de calcul réduits
• Un modèle qui comprend votre domaine comme un pro

Types de réglage fin

Il existe trois manières courantes d’affiner un modèle :

1. Apprentissage auto-supervisé:

Le modèle apprend à partir de données non étiquetées en prédisant des parties du texte (par exemple, des mots manquants).

2. Apprentissage supervisé :

Vous donnez au modèle des paires entrées-sorties (questions + réponses correctes).

3. Apprentissage par renforcement :

Le modèle apprend en recevant des commentaires (comme des pouces vers le haut ou vers le bas) et ajuste son comportement en conséquence.

Qu'est-ce que Qwen 2.5 et pourquoi l'utiliser ?

Qwen 2.5 est un grand modèle de langage (LLM) développé par Alibaba. 

Il fait partie de la famille Qwen, qui comprend différentes tailles de modèles comme 0,5B, 7B et même 72B (le « B » représente des milliards de paramètres).

Il existe deux types de modèles Qwen :

1. Modèles de base :

Ce sont des modèles bruts pré-entraînés. 

Ils ont appris des modèles de langage généraux à partir d'un grand nombre de données, mais n'ont pas été affinés pour des tâches spécifiques. 

Par exemple: Qwen2.5-7B.

2. Modèles adaptés aux instructions :

Ces modèles sont réglés avec précision pour suivre des instructions ou répondre comme un chatbot. 

Ils sont formés à des tâches spécifiques telles que :

• Répondre aux questions
• Texte de synthèse
• Avoir des conversations. 

Par exemple : Qwen2.5-7B-Instruct.

Et si vous vous demandez comment l’approche d’Alibaba se compare à l’échelle mondiale, ce face-à-face entre OpenAI et Alibaba LLMs fournit un contexte utile.

Lorsque vous faites référence à Qwen 2.5 Max, vous pouvez faire référence à la version plus grande ou plus puissante de la série Qwen 2.5. 

Il peut s'agir d'un modèle de base ou d'un modèle adapté aux instructions, selon la version que vous utilisez.

Si vous souhaitez affiner Qwen pour votre propre tâche (comme résumer des e-mails ou classer des tickets d'assistance client), vous souhaiterez généralement commencer avec un modèle de base et le former davantage avec vos propres données. 

Mais si vous créez un chatbot ou quelque chose de plus interactif, partir d'un modèle basé sur les instructions peut faciliter votre travail.

Pourquoi devriez-vous l'utiliser ?

Outre toutes les fonctionnalités intéressantes ci-dessus, nous avons également étudié ce que disent les utilisateurs réels. 

Et les critiques ? 

Assez solide :

• « Qwen 2.5 change la donne. »
• « Qwen Max est bon. »
• « On y dort. »
• « C'est facile à utiliser et gratuit, je l'utilise tout le temps. »

Donc, si vous êtes un développeur, un chercheur ou un fondateur de startup à la recherche d'un modèle d'IA intelligent, rapide et flexible, Alibaba Qwen 2.5 Max vaut la peine d'être essayé.

Ces sentiments reflètent ce que nous avons vu dans la communauté. 

En fait, ces conseils d'initiés sur l'utilisation de Qwen 2.5 Max montrez à quel point il est flexible et convivial pour les développeurs.

Premiers pas avec Alibaba Qwen 2.5 Max

Êtes-vous impatient d'essayer Alibaba Qwen 2.5 Max ? 

Génial ! C'est facile d'accès et d'installation, même pour les débutants.

Où accéder à Qwen 2.5 Max

Vous pouvez commencer à utiliser Qwen 2.5 Max et même le peaufiner via :

• GitHub:

Alibaba a rendu le modèle open source. Rendez-vous simplement sur leur page GitHub et suivez les instructions de configuration.

• Visage qui fait un câlin:

Si vous êtes plus à l'aise avec Hugging Face, vous pouvez explorer et exécuter le modèle directement à l'aide de leurs outils.

• Alibaba Cloud :

Vous préférez une configuration cloud ? Vous pouvez accéder au modèle via Model Studio d'Alibaba Cloud sans avoir à configurer votre propre matériel.

Une fois les bases prêtes, vous êtes prêt à commencer à expérimenter avec Alibaba AI Qwen 2.5 Max, que vous souhaitiez créer un chatbot, analyser des données ou l'affiner pour votre propre cas d'utilisation.

Préparation de votre ensemble de données pour un réglage précis

Avant de peaufiner Qwen 2.5 Max, vous devez préparer votre ensemble de données.

Considérez cela comme l’alimentation de votre modèle : plus vos données sont propres et pertinentes, plus elles sont performantes.

Quel type de données fonctionne le mieux ?

Cela dépend de ce que vous voulez que le modèle fasse :

• Pour un chatbot d'assistance → Utilisez de vrais chats ou des FAQ.
• Pour le résumé de texte → Utilisez des textes longs avec leurs résumés.
• Pour l’explication du code → Utilisez des extraits de code avec des explications simples.
  

En bref : assurez-vous simplement que chaque exemple montre clairement ce que vous voulez que le modèle apprenne.

Astuces simples pour formater, dimensionner et nettoyer

Voici quelques conseils pour garder vos données propres et utiles :

Format:

Votre ensemble de données doit être au format JSON, CSV ou texte, selon ce que votre script ou votre framework de formation prend en charge.

Chaque exemple devrait ressembler à ceci :

Taille:

• Commencez avec 500 à 1000 exemples, c'est suffisant pour voir des résultats utiles.
• Plus d’exemples = meilleur apprentissage, mais la qualité est plus importante que la quantité.

Conseils de nettoyage :

• Supprimez toutes les fautes d’orthographe, les phrases brisées ou les informations non pertinentes.
• Gardez le langage cohérent (évitez de mélanger trop de styles).
• Réduisez les réponses longues si elles n’ajoutent pas de valeur.
  

Par exemple, disons que vous souhaitez entraîner le modèle à répondre à des questions comme un assistant médical :

Continuez à répéter ce type de structure avec différentes questions et réponses, et vous disposerez d'un ensemble de données solide pour un réglage précis.

Maintenant que vos données sont prêtes, passons à la façon de peaufiner Qwen 2.5 étape par étape !

Comment optimiser Alibaba AI Qwen 2.5 Max (étape par étape)

L’ingénierie rapide (donner les bonnes instructions à un modèle d’IA) est puissante et, pour de nombreuses tâches, elle fonctionne bien.

Mais parfois, les invites seules ne suffisent pas. 

C'est là qu'intervient le réglage fin.

Le réglage fin consiste à prendre un modèle existant comme Qwen 2.5 Max et à l'entraîner davantage sur vos propres données, afin qu'il soit plus performant pour votre tâche spécifique.

Voici un guide étape par étape pour vous aider à démarrer.

Étape 1 : installer les bibliothèques requises

Avant de commencer à peaufiner le modèle Qwen 2.5 Max, vous devez configurer votre environnement Python avec les bons outils. 

Voici comment :

• Assurez-vous que Python est installé

Vous aurez besoin de Python 3.8 ou supérieur. Vous pouvez le télécharger sur python.org.

• Ouvrez votre terminal ou votre invite de commande
• Installez les bibliothèques requises à l'aide de pip

Exécutez cette commande :

Cela vous donne les outils pour charger des modèles, préparer vos données et exécuter la formation.

Étape 2 : Charger le modèle Qwen 2.5

Vous pouvez charger le modèle de base depuis Hugging Face ou Alibaba Cloud.

Cela ressemblera à ceci dans le code :

Étape 3 : Préparez et tokenisez vos données

Tout d’abord, décidez ce que vous voulez que le modèle fasse :

• Résumé du texte
• Génération de texte
• Classification binaire
• Questions et réponses, etc.

Créez ensuite votre ensemble de données en paires entrée-sortie.

Exemple:

Une fois que vous avez vos données, vous les tokenisez (les transformez en nombres que le modèle comprend) :

Étape 4 : Choisissez votre approche de réglage fin

Vient maintenant une décision clé : comment souhaitez-vous entraîner le modèle ?

• Réglage fin complet (mise à jour de tous les paramètres)

Cela signifie que vous devez réentraîner l’ensemble du modèle, chaque poids et chaque biais.

Cela vous donne un contrôle total mais nécessite une puissance de calcul énorme et est très coûteux.

• Transfert d'apprentissage (mise à jour de certaines couches uniquement)

Ici, vous congelez la plupart des couches et n'entraînez que les dernières.

C'est plus abordable et fonctionne bien dans de nombreux cas.

• Réglage fin efficace des paramètres (PEFT)

C'est l'option la plus légère.
Vous ne changez pas du tout le modèle d'origine. 

Au lieu de cela, vous ajoutez quelques paramètres supplémentaires (comme des adaptateurs) et vous les entraînez uniquement.

Une méthode populaire ici est LoRA (Low-Rank Adaptation). 

C'est bon marché, rapide et étonnamment puissant.

Étape 5 : Définir les paramètres d’entraînement

Maintenant, définissez comment la formation doit se dérouler :

• Taille du lot
• Taux d'apprentissage
• Nombre d'époques d'entraînement
  

Exemple:

Étape 6 : Commencer l’entraînement

Utilisez Hugging Face's Trainer ou n'importe quelle boucle PyTorch pour commencer l'entraînement.

Vous verrez la perte diminuer à mesure que le modèle apprend.

Étape 7 : Évaluer les performances du modèle

Il est important de vérifier les performances de votre modèle.
Vous pouvez utiliser des mesures de base comme la précision ou des mesures personnalisées en fonction de votre tâche.

Cela vous aide à vérifier si votre réglage fin améliore réellement les résultats.

Étape 8 : Enregistrer et tester le modèle

Une fois l'entraînement terminé, enregistrez votre modèle :

Ensuite, chargez-le à tout moment et testez-le avec des exemples réels !

Vous voyez, le réglage fin vous permet d’enseigner à un modèle d’IA puissant comme Qwen 2.5 Max à comprendre vos données, votre ton et vos objectifs.

Vous n’avez pas besoin d’être un développeur ou un data scientist.

Si vous connaissez un peu Python et êtes prêt à expérimenter, vous êtes déjà à mi-chemin.

Si vous hésitez encore à choisir le modèle qui correspond le mieux à vos besoins, cette comparaison des meilleurs modèles d'IA offre une ventilation claire des performances dans tous les domaines.

Meilleures pratiques pour affiner les modèles LLM 

Le réglage fin de grands modèles de langage (LLM) comme Qwen 2.5 peut sembler complexe, mais avec les bonnes étapes, cela devient beaucoup plus facile. 

Voici quelques bonnes pratiques pour vous aider à obtenir de meilleurs résultats, gagner du temps et éviter de gaspiller du temps de calcul.

1. Évitez le surapprentissage :

Le surajustement signifie que votre modèle apprend trop bien vos données d'entraînement, mais fonctionne mal sur les nouvelles données. 

Pour éviter cela :

• Utilisez des données de validation (un ensemble distinct) pour vérifier dans quelle mesure le modèle se généralise.
• Essayez d’arrêter tôt : arrêtez l’entraînement lorsque la perte de validation cesse de s’améliorer.
• Gardez les données de formation propres et diversifiées, et non répétitives.
• Utilisez des méthodes de réglage fin efficace des paramètres (PEFT) telles que LoRA ou LoRA+ pour réduire les risques de surajustement en n'entraînant qu'une petite partie du modèle.
  

2. Surveiller la perte et les performances :

Pendant l'entraînement, suivez toujours :

• Perte d'entraînement : dans quelle mesure le modèle apprend à partir des données qu'il voit.
• Perte de validation : ses performances sur des données invisibles.
• Des mesures telles que la précision, le score F1 ou autres, en fonction de votre tâche.
  

Astuce : les graphiques sont vos amis !

Visualiser la perte peut vous aider à repérer les problèmes plus tôt, par exemple si votre perte d’entraînement diminue mais que la perte de validation augmente (un signe classique de surajustement).

3. Sachez quand arrêter l’entraînement :

Ne vous contentez pas d’exécuter la formation pendant 20 époques « parce que cela semble bien ». 

Plutôt:

• Arrêtez-vous lorsque la perte de validation atteint un plateau ou commence à augmenter
• Utiliser des rappels comme early_stopping dans les bibliothèques de formation
• Faites confiance à vos graphiques : s’ils ne montrent aucune amélioration, il est temps d’arrêter.

Lors du réglage fin, vous choisirez généralement le nombre d'époques que vous souhaitez en fonction de :

• Quelle est la taille de votre ensemble de données
• Combien de temps êtes-vous prêt à vous entraîner ?
• Lorsque le modèle commence à donner de bons résultats.

4. Expérimentez différentes techniques de réglage fin :

Toutes les méthodes de réglage fin ne fonctionnent pas de la même manière. 

Essayer:

• LoRA (Low-Rank Adaptation) – rapide, efficace et idéal pour les ressources limitées.
• LoRA+ – une version améliorée plus performante sur les tâches difficiles. Disponible dans la bibliothèque peft, elle ne ralentit pas l'entraînement.
• DoRA – les premiers tests suggèrent que cela ne s'améliore pas beaucoup, mais n'hésitez pas à essayer.
• GaLore ou QGaLore – utilise la mémoire intelligemment et constitue un bon compromis entre LoRA et le réglage fin complet.
  

Si LoRA ou GaLore vous donne des résultats solides, envisagez alors un réglage fin complet (qui nécessite beaucoup de ressources).

5. Choisissez les bons modules à régler :

Lors de l'utilisation du réglage fin basé sur LoRA :

• Évitez le réglage v_proj et couches down_proj—ils ne bénéficient pas beaucoup des mises à jour de bas rang (d'après le document WeLoRA).
• Concentrez-vous sur les couches où les changements sont les plus importants, généralement les couches d’attention et MLP.
  

6. Économisez de l'argent et accélérez les choses :

Le réglage fin peut coûter cher. 

Quelques outils pour le rendre moins cher et plus rapide :

• Utilisez QLoRA 4 bits sur des modèles légers comme Mistral pour les tests.
• Essayez des outils économiques comme Liger, FlashAttention (FA), DeepSpeed ZeRO Stage 3 et Unsloth (via le framework Axolotl).

Ces options vous aident à former des modèles plus rapidement, avec moins de mémoire et d’argent.

7. Continuez à améliorer votre ensemble de données :

Votre modèle n’est bon que si vos données le sont aussi.

• Continuez à affiner votre ensemble de données jusqu’à ce qu’il soit clair, précis et diversifié.
• Supprimez le bruit, les répétitions et les exemples non pertinents.
• Si nécessaire, générez de meilleures données synthétiques en utilisant un modèle plus puissant.
  

8. Ajustez vos hyperparamètres :

Les hyperparamètres (comme le taux d'apprentissage, la taille du lot, etc.) contrôlent la manière dont votre modèle apprend.

• Effectuez un balayage des paramètres : essayez quelques combinaisons et voyez ce qui fonctionne le mieux.
• Recherchez cette « zone Boucle d’or » : ni trop vite, ni trop lentement, juste ce qu’il faut.
  

9. Apprendre à lire les graphiques :

Les graphiques vous aident à voir l’histoire derrière les chiffres.

• Utilisez des outils comme TensorBoard ou W&B (Weights & Biases).
• Soyez attentif aux baisses de pertes régulières et régulières, et non aux pics brusques.
• Suivez les métriques au fil du temps pour repérer les améliorations ou les problèmes.
  

Pour conclure…

Ne vous inquiétez pas des petites améliorations du 10% si vous n'avez pas encore maîtrisé le noyau 90%.

Commencez simplement. Ajustez progressivement. Testez souvent. 

Et surtout, comprenez ce que fait votre modèle et pourquoi.

Conclusion : faites en sorte qu'Alibaba Qwen 2.5 fonctionne pour vous

Ajuster l'Alibaba AI Qwen 2.5 Max ou tout autre modèle mère signifie le rendre vraiment vôtre, conçu pour s'adapter à votre domaine ou à votre tâche spécifique. 

Que ce soit :

• Rédiger de meilleurs résumés
• Répondre aux questions des clients
• Comprendre les documents juridiques.

Vous pouvez obtenir de meilleurs résultats simplement en commençant avec le bon modèle de base et en utilisant le bon type de données de formation.

Ce n’est pas difficile, il suffit d’être clair sur ce que vous voulez que le modèle fasse et de l’entraîner avec des exemples qui correspondent à cela. 

C'est là toute la beauté du réglage fin : de meilleures performances sans avoir besoin d'un modèle énorme.

Alors allez-y, expérimentez avec Qwen 2.5, testez les choses et faites-le fonctionner pour votre monde.

Vous voulez voir ce que la Chine construit d’autre dans le domaine de l’IA ? Voici 5 startups chinoises d'IA audacieuses et furtives qui font tranquillement des vagues.

Vous souhaitez recevoir les dernières informations et tendances en matière d'IA, directement dans votre boîte de réception ? 

Abonnez-vous à La newsletter d'AI Business Asia aujourd'hui et gardez une longueur d'avance.