{"id":8291,"date":"2025-03-19T17:25:43","date_gmt":"2025-03-19T16:25:43","guid":{"rendered":"https:\/\/www.leviatan.io\/blog\/?p=8291"},"modified":"2025-03-19T17:26:13","modified_gmt":"2025-03-19T16:26:13","slug":"vers-un-rag-souverain-en-francais-leviatan-publie-un-reranker-leger-en-open-source","status":"publish","type":"post","link":"https:\/\/www.leviatan.io\/blog\/vers-un-rag-souverain-en-francais-leviatan-publie-un-reranker-leger-en-open-source\/","title":{"rendered":"Vers un RAG souverain en fran\u00e7ais : Leviatan publie un Reranker l\u00e9ger en open-source"},"content":{"rendered":"\n

Cet article constitue une version synth\u00e9tique et simplifi\u00e9e de notre \u00e9tude scientifique compl\u00e8te. Pour une pr\u00e9sentation d\u00e9taill\u00e9e de nos travaux, incluant toutes les exp\u00e9rimentations, analyses approfondies et r\u00e9sultats complets, nous vous mettrons notre article scientifique \u00e0 disposition en acc\u00e8s libre d\u00e8s sa publication.<\/p>\n\n\n\n

Introduction \u00e0 la g\u00e9n\u00e9ration augment\u00e9e de r\u00e9cup\u00e9ration (RAG)<\/h2>\n\n\n\n

La g\u00e9n\u00e9ration augment\u00e9e de r\u00e9cup\u00e9ration (Retrieval-Augmented Generation, ou RAG) est une technique avanc\u00e9e qui combine la puissance des mod\u00e8les g\u00e9n\u00e9ratifs comme GPT [1], Llama [2], et d’autres, avec un syst\u00e8me de recherche documentaire externe. Contrairement aux mod\u00e8les traditionnels qui s’appuient uniquement sur leur m\u00e9moire interne, le RAG consulte g\u00e9n\u00e9ralement une base de connaissance documentaire pour produire des r\u00e9ponses pr\u00e9cises, fiables et actualis\u00e9es. Cela permet notamment de r\u00e9duire le ph\u00e9nom\u00e8ne d\u2019hallucination (informations invent\u00e9es ou erron\u00e9es), tout en assurant une meilleure tra\u00e7abilit\u00e9 et la possibilit\u00e9 d\u2019int\u00e9grer rapidement de nouvelles connaissances sans r\u00e9-entra\u00eener le mod\u00e8le.<\/p>\n\n\n\n

Composition et fonctionnement des syst\u00e8mes RAG<\/h2>\n\n\n\n

Un syst\u00e8me RAG est constitu\u00e9 principalement de deux modules : un Retriever<\/strong> (module de r\u00e9cup\u00e9ration) et un G\u00e9n\u00e9rateur<\/strong>. Le Retriever s\u00e9lectionne les documents ou passages pertinents issus d\u2019une base de connaissances externe en r\u00e9ponse \u00e0 une requ\u00eate utilisateur. Ce module exploite typiquement la recherche s\u00e9mantique vectorielle, o\u00f9 questions et documents sont repr\u00e9sent\u00e9s sous forme de vecteurs afin d\u2019\u00e9valuer leur proximit\u00e9 s\u00e9mantique [3][4]. Les documents ainsi s\u00e9lectionn\u00e9s sont ensuite transmis au G\u00e9n\u00e9rateur (un grand mod\u00e8le de langage comme GPT ou Llama par exemple), qui produit une r\u00e9ponse finale enrichie et mieux document\u00e9e.<\/p>\n\n\n\n

Avantages cl\u00e9s de RAG<\/h2>\n\n\n\n

Parmi les avantages majeurs du syst\u00e8me RAG, on note principalement l\u2019am\u00e9lioration notable de la pr\u00e9cision et de la fiabilit\u00e9 des r\u00e9ponses fournies par les mod\u00e8les g\u00e9n\u00e9ratifs, gr\u00e2ce \u00e0 la consultation directe de documents sources v\u00e9rifiables. De plus, cette approche permet de s\u00e9parer la gestion des connaissances du mod\u00e8le lui-m\u00eame, facilitant ainsi la mise \u00e0 jour rapide des informations sans n\u00e9cessit\u00e9 d\u2019un nouvel entra\u00eenement co\u00fbteux. Enfin, la tra\u00e7abilit\u00e9 accrue des informations am\u00e9liore la confiance des utilisateurs dans les r\u00e9ponses fournies.<\/p>\n\n\n\n

Limites du Retriever et l’importance du Reranker <\/h2>\n\n\n\n

Dans les syst\u00e8mes RAG, le Retriever<\/strong> s’appuie g\u00e9n\u00e9ralement sur une approche appel\u00e9e bi-encoder <\/strong>[4], consistant \u00e0 transformer s\u00e9par\u00e9ment la requ\u00eate de l’utilisateur et les documents en repr\u00e9sentations vectorielles ind\u00e9pendantes, avant de mesurer leur proximit\u00e9 s\u00e9mantique. Malgr\u00e9 son efficacit\u00e9, cette m\u00e9thode pr\u00e9sente des limites : elle est sensible aux biais et peine souvent \u00e0 capturer finement certaines nuances contextuelles, notamment lors de requ\u00eates complexes ou ambigu\u00ebs [5].<\/p>\n\n\n\n

En pratique, pour compenser ces limites, le Retriever tend \u00e0 s\u00e9lectionner un grand nombre de documents candidats, ce qui entra\u00eene une augmentation significative des ressources computationnelles n\u00e9cessaires, mais aussi un risque de d\u00e9gradation de la qualit\u00e9 des r\u00e9ponses finales. Pour r\u00e9soudre ce probl\u00e8me, un troisi\u00e8me composant, appel\u00e9 Reranker<\/strong>, est introduit pour affiner la s\u00e9lection initiale et classer les documents par ordre de pertinence. Ce processus en deux \u00e9tapes est illustr\u00e9 dans la figure 1 (\u00ab Syst\u00e8me de r\u00e9cup\u00e9ration en deux \u00e9tapes \u00bb).<\/p>\n\n\n\n

\"\"
Figure 1 – Syst\u00e8me de r\u00e9cup\u00e9ration en deux \u00e9tapes [6]<\/figcaption><\/figure>\n\n\n\n

Parmi les techniques de reranking, deux grandes approches sont principalement utilis\u00e9es. Le cross-encoder<\/strong> [7] encode simultan\u00e9ment la requ\u00eate et le document, ce qui permet une analyse plus approfondie des interactions s\u00e9mantiques entre les textes, mais entra\u00eene un co\u00fbt de calcul relativement \u00e9lev\u00e9 (voir figure \u00ab Structure de bi-encoder et de cross-encoder \u00bb). <\/p>\n\n\n\n

Alternativement, le reranker g\u00e9n\u00e9ratif<\/strong> utilise des mod\u00e8les g\u00e9n\u00e9ratifs comme GPT ou T5 [8] pour directement produire des scores de pertinence. Bien que flexible, cette m\u00e9thode n\u00e9cessite des ressources computationnelles consid\u00e9rables.<\/p>\n\n\n\n

Dans notre \u00e9tude, nous avons choisi de nous concentrer sur l’approche cross-encoder, largement adopt\u00e9e pour son efficacit\u00e9 et sa pr\u00e9cision. Notre objectif est de d\u00e9velopper un reranker multilingue, l\u00e9ger, facile \u00e0 d\u00e9ployer et enti\u00e8rement open source. Nos exp\u00e9riences pr\u00e9liminaires, r\u00e9alis\u00e9es sur un ensemble de donn\u00e9es en fran\u00e7ais, d\u00e9montrent d\u00e9j\u00e0 la faisabilit\u00e9 et l\u2019int\u00e9r\u00eat concret de cette approche.<\/p>\n\n\n\n

\"\"
Figure 2 \u2013 Structure de bi-encoder et de cross-encoder [4] <\/figcaption><\/figure>\n\n\n\n

Exp\u00e9rimentations et r\u00e9sultats<\/h2>\n\n\n\n

Pour entra\u00eener et \u00e9valuer notre reranker, nous avons constitu\u00e9 un jeu de donn\u00e9es sp\u00e9cifique combinant deux types de sources : d\u2019une part, le STS Benchmark multilingue (STS-B) <\/strong>[9], sp\u00e9cialis\u00e9 dans l’\u00e9valuation de la similarit\u00e9 s\u00e9mantique entre paires de phrases ; d’autre part, plusieurs jeux de donn\u00e9es en fran\u00e7ais d\u00e9di\u00e9s aux questions-r\u00e9ponses<\/strong> (PIAF [10], FQuAD [11], SQuAD-French [12], et pandora-rag-fr [13]). Cette diversit\u00e9 permet \u00e0 notre mod\u00e8le d’apprendre \u00e0 g\u00e9rer diff\u00e9rents styles linguistiques et th\u00e9matiques, renfor\u00e7ant ainsi sa robustesse.<\/p>\n\n\n\n

Lors de nos exp\u00e9rimentations de fine-tuning, nous avons test\u00e9 diff\u00e9rentes configurations en variant \u00e0 la fois les mod\u00e8les utilis\u00e9s (principalement BERT [14] et DistilRoBERTa [15]) et la composition des jeux de donn\u00e9es d’entra\u00eenement. Nous pr\u00e9sentons deux configurations particuli\u00e8rement r\u00e9ussies :<\/p>\n\n\n\n

  • La premi\u00e8re configuration consiste \u00e0 fine-tuner le mod\u00e8le BERT de Google<\/strong> uniquement sur les donn\u00e9es du STS Benchmark en fran\u00e7ais (stsb-fr).<\/li>
  • La seconde configuration utilise le mod\u00e8le DistilRoBERTa-base, entra\u00een\u00e9 sur une combinaison \u00e9tendue de donn\u00e9es : STS Benchmark (stsb-fr) associ\u00e9 aux corpus de questions-r\u00e9ponses (PIAF, FQuAD, SQuAD-French, pandora-rag-fr).<\/li><\/ul>\n\n\n\n

    Ces exp\u00e9rimentations visent \u00e0 illustrer l’importance du choix des donn\u00e9es utilis\u00e9es lors du fine-tuning, ainsi que l’impact de leur diversit\u00e9 sur les performances globales du mod\u00e8le.<\/p>\n\n\n\n

    Pour chaque exp\u00e9rience, les mod\u00e8les ont \u00e9t\u00e9 \u00e9valu\u00e9s sur plusieurs ensembles de donn\u00e9es, \u00e0 savoir :<\/p>\n\n\n\n

    1. Les ensembles de d\u00e9veloppement et de test du STS Benchmark en fran\u00e7ais (STS-B Dev et STS-B Test). Voir la Table 1. <\/p>\n\n\n\n