KEN’S CAT LOG
▣

J’ai affiné un LLM de 0,8B pour le RAG en 20 langues : précision de 74 % à 94 %, 7 secondes par question sur CPU

Je voulais un modèle RAG multilingue capable de tourner sur CPU. On lui donne un texte et une question, et il répond à partir du texte. Si celui-ci ne contient pas la réponse, il doit refuser en disant qu’il n’y en a pas au lieu d’en inventer une. J’ai donc créé ce modèle en affinant Qwen3.5 0,8B (800 millions de paramètres). Il couvre 20 langues.

D’abord, les conclusions.

  • La précision est passée de 73,8 % à 93,8 %. À un point seulement de Qwen3-4B non affiné (94,7 %), pour un modèle cinq fois plus petit
  • Le principal progrès est la correction des réponses inventées. Le 0,8B d’origine répondait quand même dans près de 40 % des cas lorsqu’on lui donnait un long texte sans réponse
  • 7 secondes par question sur CPU. Du texte d’environ 2 500 tokens jusqu’à la réponse. Le 4B met 60 secondes
  • Impossible de dépasser 95 %. Même en modifiant le taux d’apprentissage, le nombre d’époques et la quantité de données, le score est resté autour de 94 %. Cela semble être la limite d’un modèle de 0,8B

Méthode de mesure

J’ai créé des questions à partir de Wikipedia dans 20 langues (japonais, anglais, chinois, croate, hindi, etc.). Pour chaque question, le modèle reçoit l’un de ces quatre types de texte.

  • Paragraphe : un court paragraphe contenant la réponse
  • Contexte long : un texte de plusieurs milliers de tokens dans lequel le paragraphe contenant la réponse est mélangé à des articles sans rapport
  • Sans réponse (court et long) : un texte ne contenant pas la réponse. Répondre qu’il n’y a pas de réponse est considéré comme correct

J’appelle « précision » la moyenne de ces quatre résultats. Les questions ont été créées et notées par Qwen3-32B. Pour vérifier que la notation ne favorisait pas Qwen, j’ai également refait l’évaluation avec gpt-oss-120b, d’une autre famille : l’écart restait inférieur à 0,5 point.

J’ai aussi vérifié avec des jeux de questions de nature différente.

  • XQuAD : version en 8 langues de questions rédigées par des humains
  • hr0 : test croate créé précédemment avec un autre modèle

Sinon, il est impossible de savoir si le modèle s’est seulement habitué à un type de questions construit de la même manière que les données d’apprentissage.

Le 0,8B d’origine invente des réponses lorsqu’il n’y en a pas

Voici les résultats de Qwen3.5-0.8B avant affinage (moyenne sur 20 langues).

Paragraphe Contexte long Sans réponse court Sans réponse long
68,9 71,0 87,9 63,2

Avec un long texte ne contenant pas la réponse, il répond quand même dans près de 40 % des cas. En hindi, il n’obtenait que 15 points. C’est problématique pour le RAG.

Ce que j’ai testé

L’apprentissage a été effectué sur une RTX PRO 6000 (96 Go) louée sur vast.ai.

1. LoRA sur des données RAG en 20 langues

Les données d’apprentissage comprenaient 500 questions pour chacune des 20 langues. J’ai créé des exemples avec les quatre types de textes, pour un total de 18 025 exemples. Les bonnes réponses tenaient en une phrase ; lorsqu’il n’y avait pas de réponse, j’utilisais la formule standard « il n’y a pas de réponse » dans la langue concernée.

Un passage avec LoRA (rang 64), en 1,7 heure.

Paragraphe Contexte long Sans réponse court Sans réponse long
0,8B d’origine 68,9 71,0 87,9 63,2
Après LoRA 91,7 89,0 98,4 93,4

Rien qu’avec cela, les scores ont fortement augmenté. Pour les longs textes sans réponse, le score est passé de 63 à 93 : les réponses inventées ont presque disparu.

D’ailleurs, lors d’un premier essai avec le 2B, entraîner le modèle sur seulement trois langues (croate, allemand et turc) avait amélioré les 20 langues. La faiblesse du modèle d’origine ne semblait donc pas venir des connaissances ou de la compréhension, mais plutôt de son habitude à répondre ou à refuser conformément aux instructions.

2. Avec des questions humaines, il refuse trop vite

Sur XQuAD, composé de questions rédigées par des humains, le modèle répondait souvent « il n’y a pas de réponse » alors que celle-ci était présente.

Par exemple, à la question « Quel est un autre nom pour le rotor ? », le paragraphe ne dit que « un disque rotatif ». Il refusait donc sur ce type de problème, où la formulation diffère entre la question et le paragraphe.

La cause se trouvait dans les données d’apprentissage. Qwen3-32B, qui avait créé les questions, avait tendance à reprendre exactement les formulations du paragraphe. Le modèle semble donc avoir appris à refuser s’il ne trouvait pas les mêmes mots.

J’ai alors ajouté 400 questions par langue, créées par gpt-oss-120b avec des données de nature différente.

  • Des questions formulées différemment du paragraphe
  • Des fragments discontinus, comme des résultats de recherche
  • Des articles trompeurs, liés au sujet mais ne contenant pas la réponse
  • Des contextes longs de 1K à 8K tokens

Ainsi, le score XQuAD sur paragraphes est passé de 79,6 à 83,6, et sur contextes longs de 75,5 à 79,2. C’est pratiquement la seule modification qui a été efficace à ce stade.

À partir de là, l’apprentissage a porté sur tous les paramètres, et non plus sur LoRA. Avec les mêmes données, les résultats étaient quasiment identiques dans les deux cas.

3. Ce qui n’a pas fonctionné

Essai Résultat
Tripler le taux d’apprentissage (1e-5 → 3e-5) La loss de validation s’est nettement dégradée, donc arrêt anticipé
Deux époques d’apprentissage La loss de validation a baissé, mais la précision est restée identique. XQuAD a légèrement baissé
Doubler les données de nature différente +0,1 sur mes propres questions. XQuAD et hr0 ont baissé
Ajouter des questions humaines (SQuAD et TyDi QA) Effet inverse. Le score XQuAD pour les contextes longs sans réponse est passé de 99,8 à 91,2

Je pensais que les questions humaines aideraient, mais c’était l’inverse. XQuAD est créé à partir de paragraphes de SQuAD. En s’entraînant sur SQuAD, le modèle semble avoir appris que les paragraphes ressemblant à SQuAD contiennent forcément une réponse. Des données trop proches de l’évaluation sont risquées.

4. La quantification Q4 coûte un point

Comme le modèle tourne sur CPU, je l’ai converti en GGUF pour llama.cpp, puis quantifié.

Avec le 2B, Q4_K_M ne faisait presque pas baisser le score. Mais le 0,8B perdait environ un point. Les petits modèles sont plus sensibles à la quantification. Avec Q6_K ou Q8_0, ce point est récupéré ; sur les questions croates, le score est monté jusqu’à 95,4.

Résultats

J’ai comparé la version finale du 0,8B au modèle d’origine et à des modèles plus grands. Tous les scores sont des moyennes sur les quatre types de textes ; les modèles 0,8B et 2B sont présentés sous leur forme utilisable sur CPU (Q4_K_M).

Modèle Taille Questions en 20 langues XQuAD (questions humaines) hr0
Qwen3.5-0.8B (origine) — 73,8 74,8 72,7
0,8B (affiné) 0,67 Go 93,8 89,9 90,0
2B (affiné avec la même méthode) 1,56 Go 96,4 92,4 93,5
Qwen3-4B-Instruct-2507 (sans affinage) 2,3 Go 94,7 94,0 91,2
  • Le 0,8B gagne 20 points et n’est plus qu’à un point du 4B. Le 2B dépasse le 4B
  • Sur les questions humaines (XQuAD), il reste quatre points derrière le 4B. Sa faiblesse face aux questions formulées autrement n’est pas entièrement corrigée
  • Parmi les questions auxquelles le 0,8B se trompe, le 2B répond correctement à 64 %. Le reste semble relever de la limite de taille du modèle. Si la priorité est la précision, choisissez le 2B

Vitesse (CPU d’un ordinateur portable)

Mesures réalisées avec 8 threads sur un i7-11800H. Comme il s’agit d’un ordinateur portable dont la fréquence tombe environ de moitié lors d’une charge prolongée, ces chiffres sont plutôt lents.

Lecture du texte (4K tokens) Génération 1 question en contexte long
0,8B 314 tok/s 53 tok/s environ 7 secondes
2B 97 tok/s 21 tok/s environ 25 secondes
4B 42 tok/s 11 tok/s environ 60 secondes

Pour un simple paragraphe, il répond en moins d’une seconde.

Coût

Le coût total sur vast.ai a été d’environ 75 dollars. Cela inclut l’apprentissage du 2B et la création de données pour l’évaluation.

En résumé

  • Même avec 0,8B, un affinage pour le RAG permet d’atteindre environ 94 % de précision. En particulier, les réponses inventées en l’absence de réponse sont presque entièrement corrigées
  • Ce qui a fonctionné, c’est d’augmenter la « diversité » des données d’apprentissage. La quantité, le nombre d’époques et le taux d’apprentissage n’ont pas aidé
  • Pour la précision, le 2B ; pour la vitesse, le 0,8B. À mon avis, tous deux sont plus pratiques que le 4B non affiné