TIL

오늘 한 일

A/B 테스트 (A/B Testing) 개요

1. 정의 및 목적

A/B 테스트는 전체 사용자를 무작위로 두 집단으로 나누고, 서로 다른 시안(A와 B)을 노출하여 어떤 그룹이 설정한 목표에 더 적합한 결과를 도출하는지 데이터로 검증하는 대조 실험입니다. • 목적: 직관이나 추측이 아닌 데이터 기반의 의사결정을 통해 서비스의 전환율(Conversion Rate)을 최적화합니다.

2. 주요 구성 요소

• 대조군 (Control Group, A): 변경 사항이 없는 현재 버전의 UI/UX. • 실험군 (Experimental Group, B): 가설을 바탕으로 특정 요소를 변경한 새로운 버전. • 핵심 지표 (Key Metric): 클릭률(CTR), 구매 전환율, 체류 시간 등 실험의 성공 여부를 판단할 기준.

3. 진행 프로세스

1. 가설 수립: “버튼의 색상을 빨간색에서 초록색으로 바꾸면 클릭률이 5% 상승할 것이다.”와 같은 구체적인 가설을 세웁니다.
2. 실험 설계: 변수를 하나로 고정(단일 변수 테스트)하고 실험 대상과 기간을 설정합니다.
3. 실험 실행: 무작위 분배(Randomization)를 통해 사용자에게 A안과 B안을 노출합니다.
4. 결과 분석: 수집된 데이터를 바탕으로 통계적 유의성을 확인합니다.

참고 링크

https://toss.tech/article/data-analyst-ab-test