IA générative & SquashTM : comment l’IA transforme la gestion des tests fonctionnels
SquashTM, un outil de test augmenté, centré sur l’efficacité des testeurs.
La qualité logicielle évolue, les cycles s’accélèrent, et l’intelligence artificielle entre peu à peu dans les pratiques quotidiennes, et en particulier les modèles génératifs comme GPT ou Claude.
Conscient de cette mutation, Henix consacre désormais une équipe dédiée à l’IA générative pour faire de SquashTM un outil de test augmenté, centré sur l’efficacité des testeurs.
Pour rappel, SquashTM est un outil open source de gestion des tests fonctionnels, adapté à tous les contextes (Agile, Cycle en V, Automatisation, CI/CD…).
Cette démarche repose sur deux piliers :
- Une collaboration étroite avec les clients pour co-construire les usages ;
- Un engagement dans des écosystèmes d’innovation afin d’explorer de nouvelles opportunités et perspectives en IA :
Henix co-dirige le groupe de travail « Test (automatisation) augmenté par l’IA » du Think Tank Gen AI de CAST (avec des membres comme CA-CIB, MGEN, Bouygues Telecom, Air France, SNCF, Amadeus…).
Quelles sont les premières fonctionnalités IA déjà disponibles ?
Génération de cas de test classique à partir d’une exigence
Depuis SquashTM, l’utilisateur peut sélectionner une exigence et demander à SquashTM de générer automatiquement un cas de test à partir de cette exigence, grâce à un LLM (Large Language Model).
Le LLM génère un ou plusieurs cas de test structurés, qui sont affichés dans SquashTM pour validation humaine.
Le testeur peut alors approuver et enregistrer tout ou partie des cas de test générés ; il pourra les modifier par la suite.
Ce workflow s’inscrit dans une logique « human-in-the-loop » : l’humain garde la main sur la validation, tout en gagnant un temps précieux sur les tâches répétitives.
Introduction du mode chat pour la génération de cas de test classiques
En V13, SquashTM propose une version significativement améliorée de la génération de cas de test par IA, centrée sur l’usage réel des testeurs.
Les principaux apports sont :
- Amélioration de l’expérience utilisateur : plus fluide et mieux intégrée au travail réel du testeur.
Le testeur peut modifier son prompt (instructions, précisions, contraintes) et relancer la génération de cas de test autant que nécessaire.
Cette itération permet :
- d’affiner progressivement les cas de test générés ;
- de corriger ou préciser certains points ;
- d’obtenir un résultat plus conforme au besoin sans repartir de zéro. - Paramétrage IA plus avancé côté administration : simplification et préparation de futurs multiples usages de l’IA dans SquashTM
- configuration plus simple des modèles IA utilisés ;
- davantage de fournisseurs supportés (par exemple Vertex AI et Azure) ;
- gestion structurée des prompts (rôle, format attendu, contraintes) ;
- adaptation à différents fournisseurs et modèles LLM. - Prise en compte enrichie des exigences :
- génération basée sur les exigences existantes ;
- si le modèle le supporte, les images présentes dans les exigences peuvent être prises en compte lors de la génération.
Objectif : soulager le testeur sur la rédaction, tout en conservant maîtrise, traçabilité et qualité.
Comment sont sélectionnés les cas d’utilisation où l’IA générative peut être utile ?
Notre équipe dédiée à l’IA, composée dans un premier temps de deux développeurs, un PO et une testeuse dédiés à la recherche et au développement, a commencé par cartographier les cas d’utilisation par métier relatif au test :
Puis l’équipe IA a défini trois sujets phares qui seront détaillés et approfondis avant un développement potentiel de fonctionnalités :
- Génération de cas de test à partir d’exigences
- fournir plus de contexte pour la génération
- générer des cas de test BDD. - Qualimétrie
- aide à la revue d’exigences
- aide à la revue de cas de test - Test exploratoire
- affiner la charte
- résumer les sessions
Le périmètre de travail de l’équipe se concentre principalement sur les fonctionnalités IA de SquashTM, mais explorera également des pistes de prototypes en dehors de SquashTM. Par exemple des outils pour le test, de type assistants et facilitateurs pour les testeurs et les SDET (Software Development Engineers in Test).
Un peu de détail sur les développements potentiels
Enrichissement du contexte pour la génération de cas de test
Dans un premier temps, il s’agit d’améliorer les entrants. Nous sommes passés du prompt engineering au context engineering.
Différents éléments peuvent aider à fournir ce contexte, avec un prompt enrichi :
- Instructions dans le prompt
- Documents liés à l’exigence dans SquashTM (exigences parentes, tickets GitLab…)
- Autres documents de contexte métier
Et une fois le cas de test généré, l’utilisateur peut rétroagir et fournir un feedback ; en envoyant un retour au LLM et en indiquant les points à corriger ou à préciser, un cas de test corrigé est généré.
Les points clefs à retenir :
- Le résultat dépend
- de la qualité et de la structure de l’exigence
- de la qualité des prompts (instructions et retours) - Le prompt doit fournir les différents éléments de contexte dans un format approprié
- La fonctionnalité doit être adaptable à divers LLM
L’enrichissement du contexte fourni à l’IA, facteur clé de la pertinence des résultats, est identifié comme la priorité majeure de la V14 de SquashTM.
Les travaux portent sur la capacité à fournir au LLM un contexte plus riche et plus pertinent, notamment via :
- les exigences parentes et liées ;
- les pièces jointes associées aux exigences ;
- les cas de test existants liés ;
- plus largement, les artefacts déjà présents dans SquashTM.
Ces évolutions visent également à ouvrir la voie à des fonctionnalités de revue d’exigences assistée par IA :
- détection d’ambiguïtés ou de manques ;
- amélioration de la qualité rédactionnelle ;
- meilleure testabilité.
A noter que les retours de la revue seront remontés dans le lieu origine de l’exigence (par exemple, dans GitLab ou dans Jira si les exigences sont synchronisées avec SquashTM).
Scoring d’exigences
Le modèle qualimétrique du référentiel d’exigences est à l’étude.
Des travaux exploratoires sont en cours pour évaluer la pertinence de la fonctionnalité et des options techniques.
Des tests de faisabilité sont envisagés, potentiellement dès la V14, dans un premier temps en tant que travail de recherche et développement, et sans engagement de livraison fonctionnelle.
L’objectif est d’évaluer la qualité intrinsèque des exigences (clarté, cohérence, testabilité).
Une fois cette première étape franchie, l’équipe Recherche et Développement SquashTM pourrait se pencher sur les sujets liés à l’analyse avancée de la qualité des cas de test (détection de cas limites, doublons, redondances). Ces critères de qualité, qui se basent sur une analyse sémantique des cas de test, pourraient ainsi enrichir un modèle de qualimétrie du référentiel de test.
Génération de cas de test BDD
4 objectifs sont visés via l’usage de l’IA dans cette fonctionnalité :
- Améliorer la réutilisation d’actions pour permettre une meilleure réutilisation des extraits de code dans les tests automatisés ;
- Eviter la duplication des mots d’action pour améliorer la qualité et l’usage de la bibliothèque d’actions ;
- Donner un format plus structuré aux cas de test pour permettre une meilleure génération de scripts automatisés ;
- Gagner du temps dans la rédaction des cas de test BDD.
Les points clefs à retenir :
- Cette fonctionnalité dépend de la recherche sémantique dans la bibliothèque d’actions.
- Le résultat dépend de la qualité et de la structure de l’exigence.
- Comment définir le taux de similarité en dessous duquel un nouveau mot est créé ?
Recherche et Développement : la trame de fond
En parallèle des fonctionnalités livrées ou en développement, l’équipe IA travaille sur des sujets de fond :
- architecture IA globale de SquashTM ;
- embeddings : envisagés comme une brique technique transverse :
- comparaison sémantique ;
- analyse de similarité ;
- fondations pour des usages futurs. - recherche sémantique ;
- approches RAG ;
- architectures plus avancées (agentiques) ;
- études et prototypes autour d’un serveur MCP, afin de structurer et orchestrer les usages IA.
Ces travaux visent à préparer des évolutions structurantes, sans sur-promesse produit ni échéance définie.
- analyser l’ensemble du patrimoine d’exigences et de tests ;
- détecter doublons et incohérences ;
- accompagner les évolutions fonctionnelles en identifiant les impacts sur les tests existants ;
- et bien plus encore.
En synthèse
L’équipe de développement de SquashTM aborde l’IA générative sans naïveté. Nous reconnaissons son potentiel de transformation en profondeur du métier de testeur, et faisons le choix d’en encadrer les usages plutôt que de les maximiser.
Concrètement, l’IA dans SquashTM intervient sur des tâches ciblées (aide à la rédaction, suggestions d’améliorations, consolidation de l’information) mais chaque contribution est explicitement déclenchée, revue et validée par un testeur. En maintenant le testeur dans la boucle à chaque étape critique, SquashTM privilégie la qualité, la responsabilité et la pertinence métier à la simple production automatisée de tests.
Les fonctionnalités déjà en place et celles à venir visent à apporter une forte valeur métier pour gagner du temps, améliorer la qualité, et mieux exploiter le patrimoine de test.
L’approche est progressive, pragmatique, et ouverte à la collaboration : les utilisateurs actuels de SquashTM ont un rôle à jouer dans le développement de ces usages IA.
Pour en savoir plus
Vous abonner à la Newsletter de SquashTM :
Consulter la documentation en ligne de SquashTM :
Découvrir SquashTM :
Retrouvez les autres articles de la série “IA dans SquashTM”
Publié en novembre 2024 :
