Home > Outils > Calculatrice de Significativité du Test A/B
Calculatrice de Significativité du Test A/B
Déterminez si les résultats de votre test A/B sont statistiquement significatifs
Nombre total de conversions réalisées dans le groupe contrôle
Nombre total de visiteurs dans le groupe contrôle
Nombre total de conversions réalisées dans le groupe variante
Nombre total de visiteurs dans le groupe variante
%
Seuil de confiance requis (généralement 95%)
Taux de Conversion Contrôle—
Taux de Conversion Variante—
Lift de Conversion—
Score Z—
P-Valeur—
Significativité Statistique—
Résultat—
Qu'est-ce que cela signifie ? Vérifiez d'abord si le résultat affiche une significativité statistique. Si la p-valeur est inférieure à 0,05 (pour un niveau de confiance de 95%), le test est statistiquement significatif. Le lift de conversion indique le pourcentage d'amélioration de la variante par rapport au groupe contrôle.
Comprendre les Tests A/B et la Significativité Statistique
Les tests A/B sont une méthode scientifique pour comparer deux versions d'une page web, d'une application ou d'une campagne marketing. En divisant votre audience en deux groupes – un groupe contrôle (version originale) et un groupe variante (version modifiée) – vous pouvez mesurer l'impact réel de vos modifications sur les conversions et autres métriques importantes.
Qu'est-ce que la Significativité Statistique?
La significativité statistique indique si les différences observées entre votre groupe contrôle et votre groupe variante sont dues à votre modification ou simplement au hasard. Un résultat statistiquement significatif signifie que vous pouvez être confiant que vos observations reflètent une véritable différence dans le comportement des utilisateurs. La plupart des marketeurs utilisent un seuil de confiance de 95%, ce qui correspond à une p-valeur de 0,05 ou moins.
Interpréter les Résultats de Votre Test
Le taux de conversion est calculé en divisant le nombre de conversions par le nombre total de visiteurs. Par exemple, si 250 visiteurs sur 5 000 se convertissent, votre taux de conversion est de 5%. Le lift de conversion mesure l'amélioration en pourcentage de la variante par rapport au contrôle. Un lift de +12% signifie que la variante performe 12% mieux que le contrôle. Le score Z et la p-valeur sont des mesures statistiques qui vous aident à déterminer si cette différence est significative ou due au hasard.
Le Score Z et la P-Valeur
Le score Z mesure le nombre d'écarts-types entre votre valeur observée et la moyenne attendue. Une p-valeur est la probabilité d'observer des résultats aussi extrêmes que ceux observés, en supposant qu'il n'y a aucune différence réelle entre les groupes. Pour un test à 95% de confiance, vous recherchez une p-valeur inférieure à 0,05. Plus la p-valeur est basse, plus l'évidence que votre variante performe différemment est forte.
Combien de Temps Laisser Tourner un Test A/B?
La durée idéale d'un test A/B dépend de votre volume de trafic et de votre taux de conversion de base. En général, vous devriez exécuter votre test pendant au moins une à deux semaines pour capturer les variations du comportement des utilisateurs selon les jours de la semaine. Assurez-vous d'avoir un nombre suffisant de visiteurs pour atteindre une significativité statistique. Un test manquant de puissance statistique peut mener à des conclusions fausses.
Erreurs Courantes dans les Tests A/B
Ne terminez pas un test prématurément simplement parce que vous voyez des résultats favorables. Cela peut introduire un biais de regard qui invalide votre résultat. Évitez également de tester trop de variations à la fois, car cela augmente le risque d'une fausse découverte. Enfin, ne modifiez jamais votre audience ou vos critères de test pendant que le test est en cours, car cela compromet l'intégrité de vos résultats.
Quel est le niveau de confiance recommandé pour un test A/B?
Le niveau de confiance de 95% est standard dans l'industrie. Cela signifie que vous pouvez être 95% certain que vos résultats ne sont pas dus au hasard. Certains tests exigeants peuvent utiliser 99%, mais cela nécessite plus de trafic.
Qu'est-ce que le lift de conversion?
Le lift de conversion est la différence en pourcentage entre le taux de conversion de la variante et celui du contrôle. Un lift positif signifie que la variante performe mieux, tandis qu'un lift négatif signifie qu'elle performe moins bien.
Combien de visiteurs dois-je avoir pour un test A/B valide?
Cela dépend de votre taux de conversion de base et du lift minimal que vous souhaitez détecter. En général, vous devriez viser au moins 100 à 200 conversions par groupe pour une significativité statistique fiable.
Que signifie une p-valeur de 0,05?
Une p-valeur de 0,05 signifie qu'il y a une probabilité de 5% que vous observiez ces résultats par pur hasard s'il n'y avait vraiment aucune différence entre vos groupes. C'est le seuil standard pour la significativité statistique.
Puis-je arrêter mon test dès que j'obtiens une significativité statistique?
Il est préférable de continuer votre test pendant la durée prévue pour obtenir des résultats robustes. Arrêter prématurément introduit un biais qui peut compromettre la validité de vos conclusions, même si vous avez une significativité statistique.