我是数据科学领域的新手。我看到下面的陈述:
1) More metrics we choose in our A/B testing, higher the chance of getting significant difference by chance.
2) To eliminate this problem we use Bonferroni correction method.
第一个陈述是什么意思?它如何增加误报的可能性? Bonferroni校正方法如何帮助我们?
我很感激你的帮助。谢谢!
P.S。:我试图谷歌答案,但没有得到任何简单的解释。
那么,p值为0.05(这是常用的统计显着性水平),你会得到5%的假阳性结果。因此,如果在您的分析中您进行了一次测试,那么您的假阳性几率为5%。如果你有两个测试,第一个将有5%,第二个有5%。等等。因此,对于每个额外的测试,您的风险会增加尽管如此,由于您希望将总风险水平保持在0.05,您可以设置更严格的统计显着性水平(较小的p值),或使用某种统计方法来校正多重比较。 Bonferroni校正是这种方法之一。