1. Minimum Detectable Effect

A/B 테스트를 진행할때 보통 P-value 를 많이 보게 됩니다.
하지만 p-value 가 아직 통계적으로 유의미한 수준이 아닐때 개인적으로 MDE를 보고 최소한의 효과 크기를 계산 합니다.
즉 얼마만큼의 변화(효과)가 있어야 통계적으로 유의미한 수준으로 평가를 할 수 있는지 계산이 가능해 집니다.

예를 들어서 커머스에서 A알고리즘 그리고 B알고리즘이 상품을 추천해준다고 가정했을때, 매출액 기준 MDE가 6% 라면, B알고리즘이 최소한 A알고리즘보다 매출액 기준에서 6%이상으로 변화가 있어야지 통계적 유의미성을 갖게 된다는 뜻입니다.

1.1 공식