Pour mener au mieux un projet de test, il est vivement conseillé de décrire, de façon détaillée, les grandes lignes de l’organisation des actions qui vont devoir être mises en place.
Bien que l’idée semble commune, la réalité n’est pas aussi triviale lorsqu’on parle de stratégie de test ou plan de test. Selon l’organisation dans laquelle nous nous trouvons, ce ou ces documents, malgré un contenu similaire, ne porteront pas forcément le même nom.
Ce peut être zéro, un ou plusieurs documents, plus ou moins instinctifs et respectant plus ou moins une norme. Chaque professionnel du test a aussi une certaine idée de ce que sont ces documents et de leur contenu.
Bien que l’intention d’organisation des actions de tests soit le but ultime de ces documents, leur contenu n’est pas toujours clairement défini ou cadré, des éléments semblent être d’ordre stratégique pour certains et de l’ordre de la planification pour d’autre.
Et quel est alors la différence entre un plan de test et une stratégie test ?
Pouvons-nous en faire une distinction précise et consensuelle ?
Définitions
Pour y voir plus clair, j’ai commencé par sortir du test et par revenir au sens plus général de chaque terme en ouvrant un bon vieux dictionnaire.
La Stratégie est “l’art de coordonner des actions, de manœuvrer habilement pour atteindre un but” (Larousse). Elle est reliée à la prise de risque et à la prévision, à une réflexion générale sur des comportements supposés.
Le Plan est une “suite ordonnée d’opérations prévue pour atteindre un but” (Larousse). Il est lié à des problématiques d’organisation et de planification.
Dans une stratégie l’action est tournée pour augmenter les chances d’atteindre un but non-certain dans une situation complexe. Dans un plan, l’atteinte de l’objectif n’est pas au cœur de la question. L’enjeu réside dans la maîtrise du contexte et la planification des actions afin d’atteindre un but considéré comme atteignable.
Ces notions ont-elles le même sens dans le test et la qualité logiciel ?
Dans la vision ISTQB, la stratégie de test et le ou les plans de tests sont avant tout vu comme des documents bien identifiés :
La Stratégie de test décrit les méthodes de test générales et indépendantes des projets au sein de l’organisation. C’est « un document de haut niveau qui fournit une description générale du processus de test […] ».
L’ISTQB propose différentes stratégies à mettre en œuvre et conseille d’en choisir plusieurs.
Les plans de test eux documentent comment cette stratégie va être mise en place. Ce peut être un document unique comme un ensemble de documents selon les contraintes et la tailles des projets. Les plans peuvent être dédiés à un niveau ou à un type de test précis.
- Plan de test maître (ou plan de test projet) – décrit l’implémentation de la stratégie de test sur un projet particulier ;
- Plan de test de niveau (ou plan de test de phase) – décrit les activités précises à mettre en œuvre pour chaque niveau de test.
On comprend aisément que stratégies et plans sont imbriqués et qu’il est conseillé de faire des références croisées :
- La stratégie liste les plans à mettre en place ;
- Les plans font référence aux points stratégiques qu’ils traitent.
Pourquoi tant de confusion ?
Cette confusion trouve sa source dans le fait que « Stratégie » et « Plan » décrivent chacun une démarche organisationnelle et prévisionnelle. C’est de l’omission de leur finalité, qui les distingue, que provient l’amalgame.
Quand nous regardons de près les propositions de définitions de l’ISTQB et du TMMI, il n’est pas non plus aisé de faire un lien entre les documents décrit et le sens commun.
Exemple pour la stratégie :
- Sens commun : gestion du risque
- Sens ISTQB : description générale du processus de test
En matière de test, l’ISQB précise bien que la conception et l’organisation de cette documentation est intimement liée au contexte. Tout un ensemble de facteurs, comme la maturité des équipes, le choix des méthodologies, les contraintes métiers, la taille des projets ou encore la politique de la structure influencent et contraint cette organisation.
Actuellement, il est difficile, voire impossible, de disposer d’une structure documentaire générale et universelle dans laquelle se trouve parfaitement définie plan et stratégie. Le consensus professionnel autour des variations du nom et du contenu de ces documents entretient aussi à sa façon cette confusion (voir syllabus, ISTQB, chapite2.4).
Conclusion
En résumé, la stratégie de test, en s’appuyant sur la politique qualité de l’organisation, identifie les risques et coordonne les plans de test en fonction. Les plans de test transforment les théories émises par la stratégie en identifiant les moyens, ressources et actions qui doivent être mis en place afin de diminuer ces risques.
En consultant d’autres ouvrages et articles, on découvre que la stratégie s’infiltre partout dans les tests. Elle leur donne leur sens premier, la raison pour laquelle ils doivent être exécutés. Le plan lui va les organiser et leur donner corps en leur attribuant des ressources, en les planifiant dans le temps et en identifiant les indicateurs de suivi.
Que se soit 1 ou 2 ou N documents séparés, qu’il s’appelle plan ou stratégie, l’important est de formaliser cette organisation et de la faire vivre tout au long du projet. Informer et faire participer les parties prenantes est primordial. En particulier, impliquer les testeurs à leur élaboration et leurs évolutions est essentiel pour que ces derniers puissent mettre du sens à leurs actions. Rien n’est pire que de tester juste pour… tester.
Comment bien établir ces documents ?
Vaste question, qui mérite selon moi une littérature complète. Les différentes réponses apportées généreraient un nombre de débats probablement conséquent !
De mon point de vue, soumettre ces documents à une réflexion collective est indispensable. Toutes les parties prenantes des projets ne peuvent qu’enrichir ces documents en apportant leur point de vue et leurs expériences.
Il est aussi utile de conserver un certain détachement face à la structure de l’entreprise pour conserver une neutralité politique suffisante à l’obtention des tests de qualités.
Une bonne connaissance de l’écosystème du projet est capitale (atout, faille, métier, politique d’entreprise, …) pour établir correctement les grandes orientations et qu’elles restent en harmonie face aux risques dont l’entreprise souhaite se prémunir.