假设检验

使用Python进行假设检验的简单教程

图片来自:http://www.advanceinnovationgroup.com/blog/median-based-hypothesis-testing

在此博客中,我将简要介绍如何使用Python中的统计方法进行假设检验。 假设检验是我们大家都熟悉的科学方法的一部分,这可能是我们在早期教育时期学到的东西。 但是,在统计数据中,许多实验都是针对总体样本进行的。

“通常,确定一组样本观察值可以告诉我们有关建议的解释的方法,这需要我们对不确定性进行推理,或者按统计学家所说,”。 具有不确定性的推理是统计推断的核心,通常使用称为“空假设假设显着性检验”的方法来完成。” -烤箱。

作为此博客的示例,我将使用在Kaggle上找到的欧洲足球数据集,并进行假设检验。 数据集可以在这里找到。

第1步

观察一下

第一步是观察现象。 在这种情况下,将是:防御进攻对平均允许目标有影响吗?

第2步

检查研究

一个好的心态是工作更聪明而不是更努力。 要做的一件好事是查看是否已经存在与您的观察有关的研究。 如果是这样,它可能有助于回答我们的问题。 了解已经存在的研究或实验将帮助我们更好地组织实验,甚至可以回答我们的问题,而不必首先进行实验。

第三步

形成零假设和替代假设

另一种假设是我们的有根据的猜测,而零假设则恰恰相反。 如果替代假设表明两个变量之间存在显着关系,则原假设表明不存在显着关系。

我们的零假设将是:防御进攻等级大于或等于65的团队与低于65的团队的目标进球没有统计差异。

替代假设:国防进攻等级大于或等于65的球队与低于65的球队的进球统计差异。

第4步

确定我们的假设是单尾检验还是双尾检验。

一站式测试

“如果您使用的显着性水平为0.05,则单尾检验允许您的所有alpha均在感兴趣的一个方向上检验统计显着性。” 单尾测试的一个例子是“进攻得分低于65的足球队比得分低于65的球队在统计上允许更多的进球。”

两尾测试

“如果您使用的显着性水平为0.05,则两尾检验允许您的alpha的一半在一个方向上测试统计显着性,而alpha的一半在另一方向上测试统计显着性。 这意味着测试统计量分布的每个尾部都为0.025。”

使用双尾检验,您将同时在两个方向上检验统计显着性。 在我们的案例中,我们正在测试两个方向的统计显着性。

第5步

设置阈值显着性水平(alpha)

(alpha值):我们可以拒绝零假设的临界阈值。 alpha值可以是我们在0到1之间设置的任何值。但是,科学中最常见的alpha值为0.05。 将alpha设置为0.05意味着即使结果有5%或更少的可能性是由于随机性,我们也可以拒绝原假设。

P值:计算得出的随机到达此数据的概率。

如果我们计算一个p值并得出0.03,我们可以将其解释为“我看到的结果实际上有3%的可能性是由于随机性或纯粹的运气”。

图片来自Learn.co

我们的目标是计算p值并将其与我们的alpha值进行比较。 alpha越低,测试越严格。

第6步

执行采样

在这里,我们有一个名为足球的数据集。 对于我们的测试,我们在数据集中只需要两列:team_def_aggr_rating和Goal_allowed。 我们将其过滤到这两列,然后为防御性侵略等级大于或等于65的团队和防御性侵略等级小于65的团队创建两个子集。

回顾一下假设检验:

防御进攻对允许的平均目标的影响。 零假设:国防进攻评分大于或等于65的团队与低于65的团队在目标允许上没有统计差异。替代假设:国防攻击评分大于65的团队在允许目标上没有统计差异等于或等于65,而低于65的团队。两尾测试Alpha:0.05

现在,我们有两个样本列表,可以对它们进行统计测试。 在执行此步骤之前,我将绘制两个分布图以获得视觉效果。

步骤7

执行两次样本T检验

两样本t检验用于确定两个总体均值是否相等。 为此,我们将使用称为statsmodels的Python模块。 我不会过多地介绍statsmodels,但您可以在此处查看文档。

步骤8

评估和总结

回想一下,我们设置的alpha为a = 0.05。 从测试结果可以看出,p值小于alpha。 我们可以拒绝原假设,并且有95%的置信度接受我们的替代假设。

感谢您的阅读! 要更深入地进行假设检验,您可以在GitHub上查看这个小组项目,我在这里参与了假设检验。

资源:

烤箱,马修。 取自YourStatsGuru的“统计资料和“科学方法”。 https://www.yourstatsguru.com/secrets/scimethod-stats/?v=4442e4af0916

SAS简介。 UCLA:统计咨询小组。 来自https://stats.idre.ucla.edu/other/mult-pkg/faq/general/faq-what-are-the-differences-between-one-tailed-and-two-tailed-tests/(5月访问2019年6月16日)。

工程统计手册。 https://www.itl.nist.gov/div898/handbook/eda/section3/eda353.htm