디스코드(Discord)는 조직이 성장함에 따라 늘어나는 지표 측정의 욕구, 즉 '지표에 대한 소외 불안(Metrics FOMO)'이 오히려 실험의 정확도를 떨어뜨릴 수 있음을 경고합니다. 무분별하게 확장된 기본 지표 리스트는 연산 비용을 높일 뿐만 아니라, 통계적 유의성을 판단하는 과정에서 치명적인 트레이드오프(trade-off)를 발생시킵니다. 결론적으로 디스코드는 복잡한 통계 기법에 의존하기보다, 상호 배타적이고 품질 높은 소수의 지표를 선택하는 것이 실험의 신뢰도를 높이는 가장 효과적인 해결책임을 강조합니다.

지표 비대화와 'Metrics FOMO'

조직이 성장하고 팀이 다양해짐에 따라 실험마다 포함되는 '기본 지표 리스트(Default Metric List)'가 지속적으로 비대해지는 경향이 있음.
데이터 팀은 더 많은 데이터를 수집해야 패턴을 더 잘 찾을 수 있다는 강박(Metrics FOMO)을 가지기 쉬우며, 이로 인해 지표를 삭제하기보다는 추가하는 데만 집중하게 됨.
하지만 과도하게 많은 지표는 단순히 계산 리소스를 낭비하는 것을 넘어, 실험 결과를 해석하고 의사결정을 내리는 과정을 더욱 복잡하게 만듦.

다중 비교의 통계적 트레이드오프

제1종 오류(False Positives)의 증가: p-value 임계값을 5%로 설정했을 때 지표가 100개라면, 실제로는 아무런 효과가 없더라도 통계적 우연에 의해 5개의 지표가 유의미한 것으로 잘못 나타날 수 있음.
교정 기법의 한계: '다중 가설 교정(Multiple Hypothesis Correction)'을 통해 거짓 양성을 줄일 수 있으나, 이는 동시에 실제 의미 있는 변화를 감지하는 능력인 재현율(Recall, True Positive를 잡아내는 비율)을 떨어뜨리는 결과를 초래함.
결과적으로 지표의 수를 무작정 늘리면 분석의 정밀도가 떨어지거나, 반대로 실제 성과를 놓치는 이분법적인 문제에 봉착하게 됨.

실험의 질을 높이기 위해서는 수많은 지표를 통계적인 기법으로 해결하려 하기보다, 실험 설계 단계에서부터 측정 대상을 엄격하게 제한해야 합니다. 서로 중복되지 않는 고유한 개념을 담은 고품질 지표를 선별하여 집중하는 것이 데이터에 휘둘리지 않고 명확한 인사이트를 얻는 최선의 방법입니다.