Qualité et tests automatisés : ne sous-estimez pas les process
Quelques histoires vraies qui parlent de qualité et de fausses solutions.
Loin de moi l’idée de renier l’utilité des tests automatiques. J’en suis un fervent défenseur. Cependant, trop souvent, la question est abordée sous le mauvais angle. Voici quelques exemples !
On a besoin d’aide pour démarrer le chantier d’automatisation des tests !
Une équipe vient me consulter pour ma casquette de Facilitateur Test. Ils ont des problèmes de régressions non-maîtrisées. Ils viennent me consulter pour que je les aide à définir une stratégie d’automatisation des tests.
Quelles sont mes recommandations ?
Après avoir échangé avec eux pour prendre la mesure de la situation, mes recommandations tournent essentiellement autour du process :
- Un correctif de bug ne doit pas être accepté tant qu’il n’est pas accompagné d’un test automatique qui échoue sans le correctif. (un test unitaire peut suffire)
- Ils ont un problème de branches qui restent en vie trop longtemps avant d’être fusionnées. Ils doivent soit changer de branching model, soit remettre à plat leur branching model actuel et bien s’y tenir.
- Leur process de mise en production n’est pas clair et surtout pas assumé. À quel moment vérifient-ils qu’il n’y a pas de régression ? Comment ? Il doivent formaliser leur process et le respecter sans écart.
… et seulement quand toutes ces choses seront à plat, pourrons-nous envisager de parler d’automatisation de tests.
Les tests automatisés sont la solution à tous nos problèmes !
Ah ! Combien de fois l’ai-je entendue celle-là…
Raaaah il faut vraiment qu’on automatise ces tests ! On n’aura plus de problème ensuite.
Alors, oui, ce serait une très bonne idée d’automatiser ces tests de non-régression. On se demande d’ailleurs pourquoi vous ne l’avez toujours pas fait.
Mais non, cela ne va pas magiquement corriger tous vos problèmes.
Même avec un super filet de non-régression, il faudra continuer de challenger le produit.
Les tests automatiques, c’est super. Mais ce n’est pas une solution miracle. Les test automatiques ne signent pas la fin des tests manuels. Pire encore, les tests automatiques ne remplacent pas la nécessité de réfléchir, de mettre en place une stratégie, d’utiliser le produit.
La rigueur suffit à corriger la plupart des problèmes
Ah oui ! C’est relou les process. Ca n’intéresse personne. Pourquoi on s’embête avec ça !
Aïe.
Les process — et leur respect ! — sont pourtant clés dans une équipe qui tourne bien. Comme j’aime bien le dire :
L’Agilité requiert une extrême rigueur.
… Et arrêtons de nous comporter en héros !jp-lambert.me
Et quand je parle de process, je ne parle pas nécessairement d’un diagramme de décision complexe décrit dans une base documentaire. Non, cela peut être quelque chose de simple, de visuel, d’accessible… Par-dessus tout, cela doit être quelque chose de compatible avec la manière de travailler de l’équipe.
Process > Tests Auto
Bref. On aime donc bien me parler de tests automatiques car on s’imagine que c’est la solution miracle.
Malheureusement, non. Enfin, je ferais mieux de dire “sans surprise”. Vous devriez le savoir depuis le temps : les solutions miracles ça n’existe pas.
C’est quoi un bon test auto ?
Vous ne risquez pas de le savoir si vous ne savez pas déjà faire de bons tests manuels.
Ca coûte cher à automatiser ces tests ! Par où commencer ?
Et bien, pourquoi ne pas commencer par les scenarios les plus critiques… Vous les connaissez, bien entendu ?
On a peur des régressions ! Il faut automatiser les tests.
Pourquoi avez-vous peur des régressions ?
Si vous ne faites pas confiance à vos scenarios de non-régression, les automatiser ne changera rien. Est-ce que vous avez bien défini ces scenarios ?
Si vous n’exécutez pas à la main vos scenarios de non-régression, c’est que ce n’est pas si grave que cela d’avoir des régressions. Vous êtes sûr d’avoir peur ?
On n’a pas le temps d’automatiser les tests !
Si vous passiez votre temps à exécuter vos scenarios de non-régression à la main, vous le trouveriez ce temps. Le calcul du retour sur investissement serait trivial et direct.
Du coup, ça ne m’a pas l’air si grave que cela…
Globalement, la situation est la suivante :
On me parle qualité et non-régression, on veut entendre tests automatisés, je réponds process et rigueur.
Commencez par remettre à plat vos process, et respectez-les. Vous irez déjà très loin juste comme ça ! Comme par exemple cette équipe que j’ai accompagné :
Vous avez aimé cet article ? Montrez-le !
Merci de partager cet article ! C’est pour vous que je met autant de cœur à l’ouvrage.
Merci pour tout !