A/B 테스트 하는 법｜표본 수 계산과 구글 애즈 실험 순서

A/B 테스트는 하나만 다른 두 안(A와 B)을 같은 기간에 방문자에게 무작위로 나눠 보여 주고, 어느 쪽 전환율이 높은지 비교하는 방법이다. 전환율이 2%에서 3%로 오르는지 가리려면 그룹당 약 3,800명이 필요하고, 광고는 구글 애즈 맞춤 실험에서 대조군과 실험군을 50%씩 나눠 돌리면 된다. 순서는 가설, 한 가지만 바꾸기, 무작위 분할, 표본·기간, 판정의 5단계이고, 웹페이지는 GA4에 외부 테스트 도구를 연결해 한다.

A/B 테스트란? 둘 중 뭐가 나은지 감으로 고르기 전에

광고 문구를 바꿨더니 이번 주 구매가 늘었는데, 문구 때문인지 마침 시작된 세일 때문인지 알 수 없을 때가 많다. 빵집에서 신메뉴 두 가지를 놓고 월요일에는 A를, 화요일에는 B를 팔면 요일 손님이 달라서 비교가 안 되는 것과 같다. 같은 날 같은 진열대에서 손님에게 번갈아 하나씩만 내놓아야 어느 쪽이 더 팔렸는지 말할 수 있다. A/B 테스트가 이 방식이고, 구글 같은 광고 도구도 방문자를 무작위로 두 집단에 나눠 보여 준다. 다만 판매량이 몇 개 안 되면 우연히 한쪽이 앞설 수 있어서, 몇 명이 지나가야 믿을 만한지 먼저 따져야 한다.

구글은 이 구조를 대조군과 실험군이라고 부른다. 대조군은 지금 쓰는 안, 실험군은 변경 사항을 적용한 안이고, 두 그룹의 실적 지표를 비교해 변경 효과를 평가한다.

A/B 테스트 하는 법 5단계

순서대로 하면 결과를 해석할 수 있고, 하나라도 빠지면 이긴 쪽이 어디인지 말하기 어려워진다.

1. 가설 세우기: "버튼 문구를 '지금 신청'에서 '무료로 시작'으로 바꾸면 신청률이 오른다"처럼 바꿀 것과 기대하는 결과를 한 문장으로 적는다.
2. 한 가지만 바꾸기: 문구와 이미지를 함께 바꾸면 어느 변화가 차이를 만들었는지 알 수 없다. 바꿀 것이 여러 개면 테스트를 나눠 순서대로 한다.
3. 무작위로 나누기: 방문자를 절반씩 무작위로 나눈다. 요일이나 채널로 나누면 그 차이가 결과에 섞인다.
4. 표본과 기간 정하기: 아래 표처럼 필요한 방문자 수를 먼저 계산하고, 요일별 차이가 섞이도록 평일과 주말이 모두 들어가게 기간을 잡는다.
5. 결과 판정하기: 정한 표본이 찰 때까지 기다린 뒤 성공 지표 하나로 비교한다. 중간에 앞서는 쪽이 보여도 끝낼지 말지는 처음 정한 기준으로 한다.

A/B 테스트 표본 수: 방문자가 몇 명이면 믿을 수 있나

전환율 차이가 작을수록 더 많은 방문자가 필요하다. 검정력 80%는 실제로 차이가 있을 때 그것을 찾아낼 확률이 80%라는 뜻이다. 아래는 두 비율 비교의 표준 공식에 유의수준 5%(양쪽), 검정력 80%를 넣어 계산한 그룹당 필요 방문자 수다. 공식 문서의 수치가 아니라 계산 예시이고, 도구마다 가정이 달라 결과가 조금씩 다를 수 있다.

전환율 2%인 페이지를 2.4%로 올리는 정도의 작은 차이를 가리려면 A와 B에 각각 2만 명 넘게 필요하다. 하루 방문자가 500명이면 두 그룹을 합쳐 약 85일이 걸린다. 방문자가 적은 사이트라면 이처럼 작은 개선보다 2%에서 3%처럼 큰 변화를 시험해야 현실적인 기간 안에 답이 나온다. 월 방문자가 1만 명인 소규모 쇼핑몰은 하루 약 333명이라, 2%에서 3%를 가리는 데 두 그룹 합계 약 7,650명, 곧 약 23일이 걸린다. 한 달 안에 끝내려면 이 정도로 큰 변화를 골라야 한다.

구글 애즈 A/B 테스트(실험) 하는 법

구글 애즈에서는 캠페인 실험이 A/B 테스트 기능이다. 기존 캠페인(대조군)과 변경을 적용한 실험을 나란히 돌린다. 구글 도움말은 기존 캠페인과 실험을 비교할 때 50% 분할을 권장한다.

분할 방식은 둘 중에서 고른다. 아래 표는 맞춤 실험 유의사항의 내용이다.

분할 방식	동작	고를 때
쿠키 기반(권장)	사용자를 실험이나 기존 캠페인에 무작위로 배정해 한 사용자에게 한쪽만 보인다	같은 사람이 두 안을 모두 보면 안 될 때
검색 기반	검색할 때마다 무작위로 배정해 같은 사용자가 두 안을 다 볼 수 있다	유의미한 결과를 더 빨리 얻고 싶을 때

디스플레이 캠페인은 항상 쿠키 기반으로 나뉜다. 쿠키 기반 분할에 잠재고객 목록을 함께 쓰면 실험 대상이 10,000명 이상이어야 하고, 그보다 적으면 결과가 부정확할 수 있다. 앱 캠페인과 쇼핑 캠페인은 맞춤 실험을 만들 수 없다.

실험을 돌리는 동안에는 기존 캠페인이나 실험에 변경을 가하지 않는다. 구글 도움말은 이 경우 결과 해석이 어려워진다고 안내한다. 실험은 시작일과 기간을 정하면 종료일을 시스템이 정하고, 캠페인당 예약은 5개까지 되지만 한 번에 하나만 실행된다.

실험이 끝나면 세 가지 중 하나를 고른다. 실험을 중지하거나, 실험의 변경을 원래 캠페인에 적용하거나, 실험 캠페인을 독립 캠페인으로 바꿀 수 있다.

결과는 성공 측정항목을 최대 2개까지 정해 두면 캠페인 보고서에서 강조 표시로 볼 수 있다. 전환 하나를 시작 전에 성공 측정항목으로 정하고, 종료 후 보고서에서 실험과 기존 캠페인의 그 값을 나란히 비교한다. 실험의 전환당 비용이 기존보다 낮고 처음 계산한 표본이 찼으면 변경을 적용하고, 표본이 모자라면 기간을 늘린다.

웹페이지·랜딩페이지 A/B 테스트 도구

구글의 무료 도구였던 최적화 도구(Google Optimize)는 2023년 9월 30일부터 사용할 수 없다. 구글은 GA4에서 AB Tasty, Optimizely, VWO 같은 외부 A/B 테스트 도구와의 통합에 투자하겠다고 밝혔다. 그래서 랜딩페이지를 시험하려면 이런 도구를 쓴다. 메타 광고에도 광고 관리자의 A/B 테스트 기능이 있다.

어느 도구를 쓰든 성공 여부는 GA4의 전환(핵심 이벤트)으로 확인하는 것이 좋다. 클릭 수가 아니라 신청·구매 같은 결과로 비교해야 하기 때문이다. 핵심 이벤트를 아직 설정하지 않았다면 먼저 그것부터 만든다. 전환율과 CPA 같은 지표의 뜻은 퍼포먼스 마케팅 지표 정리에서 볼 수 있다.

A/B 테스트에서 자주 하는 실수

• 중간에 멈추기: 사흘째에 B가 앞서 보여서 끝내면 우연의 차이를 승리로 오해하기 쉽다. 시작 전에 정한 표본과 기간을 채운다.
• 동시에 여러 개 바꾸기: 제목, 이미지, 가격을 한 번에 바꾸면 이긴 이유를 알 수 없다. 한 번에 하나씩 시험한다.
• 테스트 중 다른 변경: 실험 기간에 예산이나 입찰을 바꾸면 결과가 섞인다. 구글도 변경 시 해석이 어렵다고 안내한다.
• 지표를 나중에 고르기: 결과를 본 뒤 유리한 지표를 고르면 어떤 테스트도 이긴 것처럼 보인다. 전환 하나를 먼저 정한다.

다음 행동은 지금 바꿔 보고 싶은 것 하나와 성공 지표 하나를 적고, 위 표로 필요한 방문자 수를 계산한 뒤 그 수가 한 달 안에 모이는지 보는 것이다. 모이지 않으면 더 큰 변화를 골라 같은 계산을 다시 한다.

A/B 테스트 자주 묻는 질문

A/B 테스트는 얼마나 오래 해야 하나요?

필요한 방문자 수가 찰 때까지이며, 요일별 행동 차이가 평균에 섞이도록 평일과 주말이 모두 들어가게 최소 1~2주는 잡는 것이 안전하다. 하루 방문자가 적으면 표 기준으로 몇 주가 걸릴 수 있다.

구글 최적화 도구(Google Optimize)는 아직 쓸 수 있나요?

쓸 수 없다. 2023년 9월 30일부터 종료됐고 진행 중이던 실험도 그때 끝났다. GA4에 AB Tasty, Optimizely, VWO 같은 외부 도구를 연결하는 방식이 대안이다.

방문자가 적은 사이트도 A/B 테스트를 해도 되나요?

작은 개선은 판가름하기 어려워서, 전환율이 크게 달라질 만한 변경(오퍼, 가격, 핵심 문구)을 시험하는 편이 현실적이다. 사용자 인터뷰나 화면 녹화로 문제를 찾는 방법도 함께 쓴다.