Un prototype peut fonctionner et laisser intacte la question qui a déclenché le projet. Il montre qu’une solution est possible. Il ne dit pas encore si elle répond à un besoin assez important, si les équipes pourront l’utiliser ou si son fonctionnement mérite l’investissement.
Pour rendre un essai utile, on commence par la décision à prendre. Selon l’incertitude, il faudra observer des utilisateurs, comparer des résultats ou vérifier une contrainte technique. Le prototype prend alors la forme nécessaire pour répondre à cette question.
Préciser ce qu’on cherche à apprendre
« Tester l’IA sur nos documents » laisse le périmètre très ouvert. « Savoir si une équipe peut préparer plus rapidement une synthèse fiable de ses dossiers » donne déjà un objet de travail. Il reste à préciser pour qui, sur quels dossiers et avec quel niveau de qualité.
Prenons cet exemple comme situation illustrative. L’essai doit aider à décider si une assistance à la synthèse mérite d’être mise à disposition. Il faut donc comprendre comment les dossiers sont traités aujourd’hui, ce que la synthèse doit permettre et les erreurs qui rendraient son utilisation inacceptable.
La question peut aussi être plus en amont : est-ce vraiment la synthèse qui prend du temps ? Si l’essentiel de l’effort consiste à retrouver des documents manquants ou à résoudre des contradictions entre sources, améliorer la rédaction ne traitera qu’une partie du problème.
Choisir des cas qui représentent le travail
Les premiers exemples faciles servent à comprendre ce que l’outil peut faire. Pour décider, il faut ensuite inclure des cas moins favorables : documents incomplets, versions contradictoires, formulations ambiguës ou information absente.
Les personnes qui connaissent le travail aident à constituer cet ensemble. Elles savent où une erreur coûte cher et ce qu’un résultat utilisable doit contenir. La fréquence des cas compte, tout comme leur gravité : une situation rare peut justifier une restriction si elle expose l’entreprise à une conséquence importante.
Une partie des exemples sert à améliorer l’approche. On en garde d’autres pour vérifier qu’elle fonctionne au-delà des cas déjà travaillés. Sinon, le résultat peut simplement refléter les ajustements faits pour réussir la démonstration.
Pour une fonction générative, une même demande peut aussi produire des résultats différents. Lorsque cette variabilité compte, plusieurs essais sont nécessaires. Le guide d’Anthropic sur l’évaluation des agents insiste sur la définition des tâches, des critères de réussite et des moyens de juger le résultat. Le dispositif doit rester proportionné à la décision visée.
Comparer jusqu’au résultat utilisable
Dans notre exemple, chronométrer la génération du texte serait insuffisant. Il faut inclure la préparation des documents, la vérification des affirmations, les corrections et les éventuelles reprises.
On compare donc le travail complet avec la pratique actuelle, sur des situations comparables. Une synthèse produite rapidement peut demander une relecture difficile si elle mélange des informations exactes et des affirmations impossibles à retracer. À l’inverse, un résultat incomplet mais bien sourcé peut aider efficacement un professionnel à préparer son travail.
Les critères doivent refléter cette utilisation. L’exactitude, les omissions et la possibilité de retrouver les sources peuvent compter davantage que la fluidité du texte. Pour un autre usage, le délai de réponse ou la qualité de l’interaction sera déterminant.
Il faut enfin regarder le coût complet : outil, intégration, temps humain et entretien. Un essai ne chiffre pas précisément toute l’exploitation future, mais il peut faire apparaître les postes qui changeront la décision.
Mettre les personnes dans la boucle de l’essai
Une démonstration animée par la personne qui a préparé le système renseigne peu sur l’autonomie des futurs utilisateurs. Il est utile de les laisser accomplir le travail, puis d’examiner ce qui s’est passé.
Comprennent-ils ce qu’ils peuvent confier à l’outil ? Repèrent-ils une réponse incertaine ? Savent-ils revenir au document original ? La vérification s’intègre-t-elle à leur activité ou devient-elle un travail supplémentaire qu’ils éviteront sous pression ?
Les conditions matérielles font aussi partie de l’essai. Il faut disposer de données autorisées, d’un accès adapté et d’une personne capable d’arbitrer. Une difficulté sur ce terrain peut conduire à revoir le périmètre avant de perfectionner le prototype.
Sortir avec une décision et ses conditions
À la fin, plusieurs suites sont possibles. Le besoin peut être couvert par un outil existant. Une solution spécifique peut mériter d’être construite. L’essai peut aussi montrer qu’il faut revoir l’usage ou arrêter cette piste.
Le résultat utile précise ce qui a été observé, les cas sur lesquels cela tient et les incertitudes restantes. Il indique aussi les conditions de la suite : accès aux données, responsabilité de vérification, intégrations et critères à surveiller.
Pour une idée de produit, le dispositif sera différent. Une maquette testée peut éclairer la compréhension d’un parcours sans démontrer la volonté d’achat. Un premier engagement d’un utilisateur peut renseigner sur l’intérêt sans valider la faisabilité technique. Chaque expérience doit rester à la hauteur de ce qu’elle permet réellement de conclure.
C’est le point de départ de notre offre Expérimenter avec l’IA : choisir un périmètre assez limité pour apprendre, et assez représentatif pour décider.