Data/AB Test

책 의 22장을 요약정리한 내용입니다. 주목해야 하는 이유 대부분의 실험 분석에서는 실험에서의 각 실험단위의 행동은 다른 실험 단위들에게 실험을 적용하는 것에 영향을 받지 않는다고 가정한다. 대부분의 실제 적용에서 그럴듯한 가정이지만, 이 가정이 실패하는 경우도 많이 있기에 22장에서는 실패하는 경우에 대해 살펴본다. 이 책에서의 대부분의 종합 대조 실험을 분석하기 위해 프레임워크인 루빈 인과 모델을 가정하여 실험하였다. 우리는 이 가정과 실패 시나리오 및 해결하기 위한 접근 방식을 학습한다. 루빈 인과 모델에서 만들어진 주요 가정은 SUTVA로(Stable Unit Treatment Value Assumption), 실험에서 각 실험 단위의 행동은 다른 실험단위에 대한 변형군 할당에 의해 영향을 받지 ..

책 의 18장을 요약정리한 내용입니다. 주목해야 하는 이유 18장에서는 p값의 신뢰구간 계산에 가장 중요한 요소인 분산에 대해 설명한다. 분산은 실험 분석의 핵심으로, 주요 통계적 개념 (통계적 유의성, P값, 검정력 및 신뢰 구간)은 분산과 관련이 있다. 따라서 분산을 정확하게 추정하는 것뿐만 아니라 통계적 가설 검정의 민감도를 얻기 위해 분산을 줄이는 방법을 이해하는 것은 매우 중요하다. 우리는 주로 두 가지 주제에 중점을 두고 학습합니다. 여기서 두 가지 주제란 1) 분산 추정에서의 일반적인 함정(및 해결책)과 2) 민감도를 향상시키기 위해 분산을 줄이는 기법입니다. i =1, … , n 개의 독립적으로 동일하게 분포된 i.d.d. 표본을 사용해서 지표의 표본 평균 분산을 계산하기 위한 일반적인 절..

책 의 10장을 요약정리한 내용입니다. 보완기법들의 중요성 실험을 수행할 때, 지표를 테스트하고 생성, 검증하며 더 일반적인 결과를 도출한 목적의 근거를 확립하기 위한 아이디어가 필요하기 때문에 보완기법은 중요하다. 이러한 이유로 올바른 A/B 테스트 문화를 보완하고 확대하기 위해 사용자 경험 연구, 포커스 그룹, 설문 조사, 참여자 평가 및 관찰 연구를 활용할 수 있어야 한다. 보완 기법의 사용 범위 성공적인 A/B 실험을 위해서는 엄밀하고, 주의 깊게 분석과 실험 플랫폼 및 도구를 만들어야 하는 것뿐만 아니라 다음 사항도 필요하다. • 실험을 위한 아이디어인 아이디어 퍼널(Konavi et al. 2013) • 우리가 관심 있는 효과를 측정하기 위한 검증된 지표 • 온라인 종합 대조 실험이 불가능하거..

책 의 05장을 요약정리한 내용입니다. 속도의 중요성 속도의 중요성을 평가하기 위해 실험의 설계, 실행, 해석까지의 엔드-투-엔드 예시를 우선 살펴보겠습니다. 예시로 들기에 간단하기 때문에 실험의 많은 예시로, 사용자 인터페이스(UI)에 초점을 맞추지만, 많은 기업에서 발견한 것처럼 백엔드 측면에서도 많은 혁신이 일어나며, 속도가 매우 중요하다는 것이 밝혀졌습니다. 물론 속도가 더 빠를수록 좋지만, 노력의 투자수익률(ROI)을 단순한 속도 저하 실험 실행을 통해 계량화할 수 있어야 합니다. 종합 대조 실험의 단순하지만 강력한 기법인 속도 저하 실험 (sorcom erparmen)을 통해 아래와 같은 질문에 대한 명확한 답을 얻을 수 있습니다. 제품 성능이 얼마나 중요한가? 제품의 어느 곳에서 지연 시간을..

책 의 02장을 요약정리한 내용입니다. 이번 2장에서는 실험의 설계, 실행 및 분석의 기본 원리에 대해 학습합니다. 이러한 원칙은 소프트웨어가 배포되는 모든 곳(웹 서버와 브라우저, 데스크톱 어플리케이션, 모바일 어플리케이션, 게임콘솔, 보조장치)에 적용됩니다. 저희는 단순하고 구체적인 내용을 위해 웹사이트 최적화 사례에 초점을 맞춰 학습하겠습니다. 예제 설정 위젯을 판매하는 가상의 온라인 상점 사이트를 대상으로 예제를 설정하겠습니다. 여기에는 테스트 할 수 있는 다양한 변화들로 새로운 기능 도입, 사용자 인터페이스(UI)의 변화, 백엔드의 변화 등이 있고 이러한 변화들을 테스트할 수 있습니다. 즉, 사용자가 이 쿠폰 필드를 본다는 사실만으로도 속도가 느려지며 코드를 검색하게 하고 심지어는 사용자를 떠나..