Aller au contenu

Cercle IA .tech · Technique

Cercle IA TechFine-tuning

Guide

Fine-tuning d'un modèle d'embedding pour un RAG

Affiner le modèle d'embedding de son RAG : quand c'est utile, données (question, passage), perte, évaluation, et conséquences sur l'index.

Mis à jour le

Dans un RAG, le modèle d'embedding décide quels passages remontent à la recherche. S'il comprend mal votre vocabulaire (références internes, jargon d'un métier, abréviations), le meilleur modèle de réponse ne verra jamais le bon passage. L'affiner sur vos propres données est une option, parfois très efficace, souvent inutile. Cette page décrit quand la tenter et comment, en s'appuyant sur la documentation de la bibliothèque Sentence Transformers et sur un article de Hugging Face, relus le 19/11/2026.

D'abord, prouver que l'embedding est le problème

Avant d'entraîner quoi que ce soit, constituez un jeu de test : une trentaine de questions réelles, chacune avec le ou les passages qui contiennent la réponse. Mesurez, pour chaque question, si le bon passage figure parmi les résultats renvoyés. Ce travail est décrit dans évaluer un RAG.

Ensuite, essayez les réglages moins coûteux, dans cet ordre : un autre modèle d'embedding du commerce (choisir un modèle d'embedding), la recherche hybride qui retrouve les mots exacts, le tri des résultats. L'affinage devient pertinent si le bon passage ne remonte toujours pas, parce que votre vocabulaire est trop spécifique.

Ce que dit la documentation

La documentation de Sentence Transformers affirme que l'affinage de ces modèles « améliore souvent fortement » leurs performances sur votre besoin précis. Elle décompose l'entraînement en quatre à six composants : le modèle, le jeu de données, la fonction de perte, les paramètres d'entraînement, l'évaluateur et l'entraîneur. Le reste de cette page suit ces étapes.

Les données : des paires question-passage

La fonction de perte la plus courante pour la recherche, MultipleNegativesRankingLoss, prend en entrée des paires (ancre, positif), c'est-à-dire ici (question, passage qui répond). La page de présentation des pertes la marque comme choix par défaut couramment recommandé et la décrit comme utilisée pour entraîner des modèles d'embedding parmi les plus performants. Elle accepte aussi des triplets (ancre, positif, négatif), où le négatif est un passage proche mais faux. Elle s'appuie sur des « négatifs dans le lot » : les autres passages du même lot servent d'exemples négatifs.

Points d'attention tirés de la documentation :

  • L'ordre des colonnes compte, pas leur nom : une colonne en trop (identifiant, source) est traitée comme une entrée et fausse l'entraînement ; retirez-la.
  • Évitez les doublons dans un lot pour les pertes à négatifs dans le lot : la documentation recommande un échantillonneur sans doublon.
  • Notre conseil, non issu de ces sources : séparez avant l'entraînement les questions de test de celles d'apprentissage, et ne laissez aucun passage de test servir de positif à l'entraînement.

Où trouver des paires ? Les questions réelles posées à vos équipes, rattachées au passage qui y répond, sont les plus fiables. On peut aussi faire générer des questions par un modèle à partir de chaque passage, mais ces questions sont plus propres que celles des utilisateurs : relisez un échantillon à la main. Les exigences sur un jeu de données valent aussi ici : droits sur les documents, absence de données personnelles inutiles.

Entraîner, puis évaluer comme en production

La documentation prévoit des évaluateurs. Pour la recherche, l'évaluateur d'information (InformationRetrievalEvaluator) demande des requêtes, un corpus de documents, et la liste des documents pertinents par requête, ce qui correspond exactement au jeu de test ci-dessus. Mesurez le modèle avant et après, sur les mêmes questions.

Pour donner un ordre de grandeur, l'article de Hugging Face sur l'entraînement présente un modèle entraîné sur des triplets d'un jeu de phrases générique : sa précision sur une tâche de triplets passe de 68,32 % avant entraînement à 90,04 % sur le jeu de développement. Cet exemple ne porte pas sur la recherche documentaire et ne prédit pas votre gain : il montre seulement que l'écart peut être grand quand le domaine est éloigné du modèle d'origine.

Les conséquences pour l'index

Un modèle affiné produit des vecteurs différents : tout l'index doit être recalculé. Prévoyez le temps de réindexation, l'espace disque pour garder l'ancien index le temps de la bascule, et la version du modèle dans les métadonnées, comme expliqué dans changer de modèle d'embedding. Vérifiez aussi la licence du modèle de base : certaines licences limitent la redistribution des dérivés. Voir lire une fiche de modèle.

Les risques

  • Surapprentissage : le modèle apprend vos exemples et se dégrade sur des questions différentes. Le jeu de test séparé le révèle.
  • Dérive du corpus : de nouveaux documents avec un vocabulaire nouveau peuvent demander un nouvel affinage.
  • Coût caché de maintenance : un modèle maison est un modèle à maintenir ; voir quand faire du fine-tuning.

Le même réflexe de continuité vaut ici que pour un modèle de langage : voir que faire si le modèle de base est retiré. Si, au bout du test, le gain est faible, gardez le modèle du commerce et améliorez le découpage ou la recherche hybride : c'est moins fragile.

Exemple de démarche sur un corpus de maintenance

Un service de maintenance a vingt mille pages de notices où chaque équipement porte un code interne. Les questions des techniciens citent le code, ou une description approximative (« la pompe du circuit froid »). Le modèle du commerce renvoie des passages sur d'autres pompes. Démarche : relever cinquante questions avec leur page ; constater que le bon passage est absent des résultats pour une partie d'entre elles ; essayer la recherche hybride, qui retrouve les codes exacts ; si des questions en langage courant échouent encore, construire des paires (question, passage) à partir des demandes passées, affiner, et comparer avant et après sur les questions réservées au test. Dans cet exemple illustratif, c'est la comparaison qui décide : si l'écart est faible, on ne déploie pas.

Pour finir, notez dans votre dossier le nom et la version du modèle de base, les paramètres d'entraînement, la date, le jeu de test et le score obtenu : sans cette trace, personne ne saura refaire l'affinage quand le modèle de base évoluera.

Questions fréquentes

Faut-il affiner un modèle d'embedding avant un RAG ?

Non, pas en premier. Commencez par mesurer un modèle existant sur vos questions, puis par essayer la recherche hybride et le tri des résultats. N'affinez que si les passages justes ne remontent pas et que ces réglages ne suffisent pas.

Que faut-il refaire après avoir affiné un modèle d'embedding ?

Réindexer tous les documents avec le nouveau modèle. Les vecteurs d'un modèle ne sont pas comparables à ceux d'un autre : mélanger anciens et nouveaux vecteurs dans un même index fausse la recherche.

Références du carnet

Pages consultées pour écrire cet article :

  1. https://sbert.net/docs/sentence_transformer/training_overview.html
  2. https://sbert.net/docs/sentence_transformer/loss_overview.html
  3. https://huggingface.co/blog/train-sentence-transformers

À lire aussi