A/B 테스트 유의성이란?
A/B 테스트는 두 가지 버전(A와 B)을 비교하여 어느 것이 더 나은 성과를 내는지 확인하는 방법입니다. 통계적 유의성은 관찰된 차이가 우연이 아니라 실제 효과 때문인지 판단합니다.
주요 지표 해석
전환율(Conversion Rate)은 전체 방문자 중 전환이 일어난 비율입니다. 대조군 전환율 = (대조군 전환수 / 대조군 방문자수) × 100입니다. 전환율 향상도(Lift)는 변형군이 대조군 대비 얼마나 개선되었는지 보여줍니다.
Z-점수와 P-값
Z-점수는 두 그룹 간의 차이를 표준편차 단위로 측정합니다. P-값은 귀무가설(두 그룹이 같다)이 참일 확률입니다. 일반적으로 P-값이 0.05 이하면(95% 신뢰도) 결과가 통계적으로 유의미하다고 판단합니다.