Aller au texte
DAVELI, accueil du site L’Équipe invisible

Annexes

Annexe D. Protocole de banc d’essai

Ce protocole sert à comparer deux modèles, ou une solution cloud et une solution locale, avant de décider.

  1. Choisir cinq tâches représentatives, tirées de votre liste du chapitre 1.
  2. Réunir cinq cas réels par tâche : cinq demandes de devis, cinq factures à relancer. Pseudonymisez-les si elles partent dans le cloud (→ chap. 15).
  3. Écrire les critères de réussite de chaque tâche avant de commencer (→ chap. 4), et fixer le seuil à partir duquel vous adopterez la solution.
  4. Utiliser le même brief pour toutes les solutions comparées.
  5. Lancer chaque cas trois fois : un modèle ne donne pas toujours la même réponse.
  6. Noter chaque résultat dans le tableau ci-dessous.
  7. Recommencer à chaque changement de modèle ou de version.
Tâche Cas Solution Critères respectés (sur le total) Inventions (nombre) Temps de réponse Temps de correction Remarques

Pour décider, comparez le temps total (réponse et correction) et le nombre d’inventions. Un modèle qui invente un prix une fois sur vingt n’est acceptable que si votre relecture le détecte à coup sûr.

Mesurer aussi la vitesse. L’outil llama-bench, fourni avec llama.cpp, mesure la vitesse de traitement du prompt (test « pp512 » : un prompt de 512 jetons) et la vitesse de rédaction (test « tg128 » : 128 jetons rédigés). Faites cette mesure à la réception de la machine, sur un modèle que vous garderez, puis refaites-la après chaque mise à jour du système, des pilotes ou du logiciel. Sur le serveur de l’auteur, gpt-oss-20b donnait 2 375 et 77,8 jetons par seconde à la réception, 2 407 et 75,7 après l’installation : un écart de 3 % au plus. Un écart de plus de 10 % signale une régression à comprendre avant d’aller plus loin. Notez avec chaque mesure les conditions : température de la pièce, mode de puissance, périphériques branchés. Mesurez la consommation à la prise : les capteurs logiciels la sous-estiment.