Webinaire Agents IA – Vos questions, nos réponses
AI Webinaires
Retrouvez toutes nos réponses à vos questions posées en live lors de notre dernier webinaire, « L’ère des agents IA : les utiliser et en tirer profit pour les tests ». Si vous avez des besoins ou des questions spécifiques, contactez-nous.
Questions générales sur les agents IA et leurs usages
Sur quels aspects les agents IA apportent le plus de valeur ajoutée, à la fois d’un point de vue théorique et pratique ?
Chatbots IA, workflows LLM et agents IA sont trois modalités d’usage de l’IA générative qui peuvent toutes trois être utilisées en support aux activités de test. Les agents IA permettent d’effectuer des traitements IA avec un certain degré d’autonomie. Ils peuvent agir sur le système, par exemple pour mettre à jour une base de données, utiliser l’interface utilisateur graphique (IHM) d’une application ou réaliser des appels API.
Les agents IA sont pertinents pour des tâches de test pouvant être vérifiées, c’est-à-dire pour lesquelles la vérification de bon déroulement de la tâche peut être automatisée. L’exécution des cas de test manuels par agent IA rentre dans cette catégorie.
Quelles sont les spécificités propres au domaine du test en matière de bonnes pratiques de prompting ?
Il existe effectivement des préconisations spécifiques pour le prompting en test, qui se décline en trois niveaux principaux :
- La précision de la formulation de la tâche à réaliser, par exemple pour une tâche de génération de cas de test.
- l’apport de données de contexte améliorant la pertinence de la réponse du LLM. Par exemple, l’ajout des règles métier correspondant à une user story en entrée d’une tâche de génération de scénarios d’acceptation.
- l’intégration de tâches de vérification dans le prompt ou dans la chaîne de prompts. Par exemple pour vérifier le respect d’un standard de génération de tests d’accessibilité.
Pour en savoir plus, vous pouvez consulter notre article : Apprendre à prompter: IA pour les tests et pour aller plus loin, participez à notre formation Accélérer vos processus de test grâce àl’IA générative
Quelle est la répétabilité des tests ? Sachant que l’IA réanalyse les scénarios à chaque exécution, ce qui peut compromettre un comportement déterministe.
Les réponses d’une IA générative sont non déterministes. Cela signifie que lorsque vous générez des cas de test, chaque génération à partir d’un même prompt peut donner des réponses différentes (souvent légèrement différentes).
Dans le cas d’un agent d’exécution des cas de test, c’est différent. L’agent exécute une action de test en choisissant l’action à réaliser. Il peut par exemple s’agir de remplir une zone de saisie avec une donnée de test. Cela limite la variabilité des réponses par rapport à la génération d’un long texte, favorisant une bonne reproductibilité des exécutions. De plus, nous réalisons des vérifications de chaque étape afin de limiter encore plus cette variabilité en détectant des cas où la réponse aurait divergé, et sera donc relancée.
Est-ce que le SLM local peut être hébergé chez le client, ou est-ce que ça ne s’applique qu’au LLM chargé de générer le workflow Yest ?
Le workflow LLM intégré à notre produit de conception de tests YEST 4.0 utilise un petit modèle de langage (SLM – Small Language Model). Celui-ci peut être hébergé sur le site client afin éviter toute sortie de données.
Comment construire la confiance par le test, alors que les résultats de l’IA ne sont pas reproductibles ?
Les réponses d’une IA générative sont non déterministes, ce qui signifie que lorsque vous générez des cas de test, chaque génération à partir d’un même prompt peut donner des réponses différentes (souvent légèrement différentes).
Dans le cas d’un agent d’exécution des cas de test, c’est différent. L’agent exécute une action de test en choisissant l’action à réaliser. Il peut par exemple s’agir de remplir une zone de saisie avec une donnée de test. Cela limite la variabilité des réponses par rapport à la génération d’un long texte, favorisant une bonne reproductibilité des exécutions. De plus, nous vérifions chaque étape afin de limiter encore davantage la variabilité. Ainsi, nous détectons les cas où la réponse diverge et nous relançons le processus.
Est-ce qu’une avancée récente permet réellement de parler de capacités de raisonnement chez les LLM ?
En effet, les modèles de raisonnement ont récemment beaucoup progressé. Il s’agit de grands modèles de langage auxquels a été ajouté un traitement des requêtes utilisateur basé sur une technique dite de « chaîne de pensée ». Celle-ci permet au LLM de décomposer la requête en étapes, sur lesquelles le traitement LLM est réalisé.
OpenAI compte par exemple les modèles gpt-o1 et gpt-o3 dans cette catégorie, ainsi que Claude 4 Opus chez Anthropic et le modèle R1 chez DeepMind. Le 10 juin dernier, Mistral a annoncé la sortie de son premier modèle de raisonnement, Magistral.
L’apprentissage concerne-t-il uniquement un flux de données (ex. chat), ou aussi des situations plus durables hors de ce flux ?
Pour notre agent IA chargé d’exécuter des tests manuels, nous privilégions l’acquisition de connaissances lisibles, éditables et révocables. L’humain les ajoute au contexte de l’étape de test en fonction de leur pertinence pour l’action à réaliser. Il ne s’agit donc pas de finetuning, mais bien de connaissances spécifiques à l’application testée.
Par exemple, face à l’action de test suivante formulée dans un cas de test manuel : « Choisir une catégorie de client éligible au discount », l’humain peut indiquer à l’agent la règle métier « client éligible à un discount » au cours du dialogue. L’agent enregistre alors cette connaissance métier de manière persistante et pourra la réutiliser lors de prochaines exécutions de cas de test si nécessaire.
Stratégie et apprentissage
Quelle stratégie adopter pour tester une architecture multi-agent ? / Avez-vous mis en place un benchmark interne pour évaluer les performances des différents modèles IA sur vos cas d’usage ?
Nous avons constitué un large benchmark représentatif et qui est mis à jour avec de nouveaux cas d’essai. Cela nous permet d’évaluer différentes architectures et modèles SLM/LLM pour différentes tâches. Ce benchmark est un travail très coûteux et il constitue un atout pour Smartesting.
Dans votre processus, considérez-vous que l’agent est responsable des actions validées, ou cette responsabilité revient-elle toujours à l’orchestrateur humain ?
L’agent propose une réponse argumentée, mais c’est toujours le testeur qui reste responsable de la validation du résultat. Le travail de l’agent est de fournir les éléments nécessaires pour cette validation.
Questions relatives à notre agent IA en cours de développement
Nous sommes en train de développer un nouvel outil à base d’agent IA pour l’exécution de vos tests manuels, dans cette optique, nous avons mis à votre disposition un démonstrateur que vous pouvez tester gratuitement.
Si vous souhaitez être tenu informé de toutes les avancées autour de ce nouveau produit : inscrivez-vous ici
Est-ce possible d’avoir une démo de test ?
Le démonstrateur est libre d’usage à l’adresse https://testrunner.smartesting.com/. Son usage n’est pas limité dans le temps, seulement par le nombre d’exécutions sur une semaine.
Pourra-t-on utiliser cet outil pour réaliser les tests exploratoires ?
Notre approche est d’exécuter des tests conçus par l’analyste de test qui connait bien son application et sait ce qu’il faut tester.
Comment gérez-vous les enjeux liés au coût et à l’empreinte énergétique des modèles d’IA utilisés par votre agent ?
Nous travaillons à optimiser l’usage des modèles d’IA par l’agent afin de diminuer leur coût et leur impact sur la consommation d’énergie
Est-ce que votre outil est compatible avec Azure DevOps et Squash ?
Une API est disponible pour réaliser les intégrations souhaitées. Notre premier focus d’intégration concerne XRay et Xqual.
Est-ce que ça pourrait remplacer les outils d’automatisation de test comme Selenium ou Cypress ?
En fonction du contexte de mise en œuvre et des objectifs de l’automatisation, il faudra analyser si l’agent IA peut remplacer ou non ce genre d’outils.
Peux-t-on le brancher avec des outils de plan de tests comme qtest ?
Une API est disponible pour réaliser les intégrations souhaitées. Notre premier focus d’intégration concerne XRay et Xqual.
À quel prix sera commercialisé l’outil ?
Ce n’est pas encore défini.
Est-ce qu’il est possible de récupérer des valeurs/variables durant le test, pour les modifier, dans le but de les comparer plus tard dans l’exécution ?
C’est un sujet intéressant sur lequel nous n’avons pas commencé à travailler.
Pour aller plus loin avec l’IA
Découvrez notre collection de contenus autour de l’IA pour en savoir plus
Articles
Ebook
Webinaires
Restez à l'affut des nouveautés
Gains de productivité et ROI avec Yest® : ce que nos clients ont mesuré
Yest
Dans vos contextes où la rapidité, la qualité et la maîtrise des coûts sont des enjeux majeurs, il est essentiel…
Lire l'article
Les tests end-to-end, en bref
Gravity Test
Dans le développement logiciel moderne, garantir la qualité et la fiabilité des applications est essentiel. C’est pourquoi, les tests end-to-end…
Lire l'article
Les erreurs de l’IA en test logiciel : les comprendre et les prévenir
AI Test
Les erreurs de l’IA générative sont bien connues, notamment dans notre usage des chatbots et assistants IA. Si bien que…
Lire l'article