读《赤裸裸的统计学》

吴诗涛 2021-01-04 [读后感]

[1](美)韦兰著.赤裸裸的统计学[M].北京:中信出版社.2013.

引言 我为什么憎恶微积分却偏爱统计学?

上大学之后,我彻底沉醉于概率学之中,因为它同样为我在洞察现实生活中的一些有趣场景提供了解释。回想过往,我意识到让我痛恨微积分课的不是数学,而是从来就没有人想到要告诉我数学的意义是什么。

以我的经验来看,直觉会让数学和其他技术细节更加容易理解,但是反过来就不一定说得通了。

统计学就像是一种高智商武器:正确地使用它能够帮助我们,但错误地使用它也会产生灾难性的后果。本书不会将你变成一个统计学专家,但会让你对这个领域保持谨慎和尊重,不至于酿成大祸。

用数据说谎容易,但是用数据说出真相却很难。

第一章 统计学是大数据时代最炙手可热的学问

无论是什么问题,统计学都极少提供唯一的“正确”方法。

学习统计学的意义是什么?统计学能够帮助我们处理数据,而数据只不过是包裹着华丽外衣的信息。

“数据只不过是知识的原材料”。

本书的主题之一就是,对于描述统计学的过分依赖会带来误导性的结论或导致不良行为。

统计学的一个核心功能就是使用手中已有的数据进行合理推测,以回答那些我们还未掌握所有信息的“大”问题。简言之,我们能够使用“已知世界”的数据来对“未知世界”进行推断。

任何一个风险评估模型都必须以概率作为基础。

概率就像是武器库里的一件武器,需要使用者有较强的判断力。

数据里隐藏着线索和模型,沿着这些线索和模型,我们最终能够得到有意义的结论。

我们可以通过统计分析来确定两个变量之间的强烈联系,但却无法解释为什么存在着这样的联系,在某些情况下,我们也无法确定这种联系是否为因果关系,也就是说,不知道其中一个变量的变化是否真的能引起另一个变量的变化。

描述任务的第一步通常是估量某套数据的“中间位置”,也就是统计学家所说的“集中趋势”。

第二章 描述统计学

任何一种简化都会面临被滥用的危险。描述性数据就像是在线交友网站上的档案:虽然每一条都是准确的,但同时也相当具有误导性。

平均数必须对“异常值”有足够的敏感性,这也是为什么我们不应该用人均收入来衡量美国中产阶级的经济健康状况。因为在收入分配的顶端,有着一群收入暴涨的美国人—公司高管、对冲基金经理,以及像德瑞克·基特这样的运动员,普通美国人的收入会被这些巨富们的光环掩盖,就像一群失意的普通人坐在比尔·盖茨身边一样。

第三章 统计数字会撒谎

马克·吐温有一句名言是这样说的,“谎言有三种:谎言、该死的谎言,以及统计学”。

一个数据的准确与否表明了其与真相是否一致,因此将“精确”和“准确”混为一谈是要付出代价的。如果一个答案是准确的,那么在这个基础上当然是越精确越好;但如果答案从一开始就是不准确的,那么再精确也毫无意义。

即使是最为精确的计算或测量都应该检查一下是否符合常识。这一点适用于所有的统计分析。

在商界流传着一句至理名言:“你无法管理你无法衡量的事物”。这句话千真万确,但你最好要保证你所衡量的,正是你努力想去管理的。

渊博的统计学知识无法遏制不道德的行为,无论是统计学还是法律,坏人总是清楚地知道自己在做什么!

第四章 相关性与相关系数

相关系数不受变量单位的限制。

我们必须牢记一点,那就是相关关系并不等于因果关系。两个变量存在正相关或负相关的关系,这并不代表其中一个变量的改变是由另一个变量的变化引起的。

第五章 概率与期望值

你应该时刻谨记为那些你无法轻松承受的意外上保险,而其他情况就不要浪费钱了,这是个人理财的核心原则之一。

第七章 黑天鹅事件

最大的风险从来就不是那些你能看得见、算得出的,而是那些你看不见从而无从估量的,那些看上去似乎远不在正常概率范围内、远远超出你的想象、你认为一辈子都不可能发生的风险,事实上,它们的确会发生,而且比你所能想到的要频繁得多。

“人们对于随机性的直观感受与概率的相关定律之间存在着鸿沟。”我们自认为看到了规律,可实际上或许根本不存在规律。

第八章 数据与偏见

从直觉出发,就像从一锅汤里舀出一勺进行品尝,如果之前搅拌得充分均匀,那么这小小的一勺汤足以告诉你整锅汤的味道了。

事实上,一个存在偏见的大容量样本甚至要比一个存在偏见的小容量样本更具有误导性,因为人们会因为前者包含的样本数量多而盲目“崇拜”其结论。

每一项重要的研究成果都离不开优质数据的默默支持,让分析成为可能;那么每一项糟糕的研究背后,隐藏的是什么呢?人们常说“统计数字会撒谎”,在我看来一些最臭名昭著的统计错误其实是数据的问题,统计分析本身并没有错,但用于计算和分析的数据要么是伪造的、要么就是不适当的。

对于统计学来说,巧合的存在决定了异常事情的发生,这是难以摆脱的事实。

偏见的来源并不是研究本身,而是那些能够接触到大众读者的信息载体。

如今的医学杂志要求所有研究在刚开始时通过项目注册的方式予以告知,否则将取消其出版的资格,杂志编辑可以借此得出某项研究的肯定和否定结论的比例。

没有记忆性偏见是纵向研究优于横向研究的一个方面。

第九章 中心极限定理

中心极限定理的核心要义就是,一个大型样本的正确抽样与其所代表的群体存在相似关系。

根据中心极限定理,任意一个群体的样本平均值都会围绕在该群体的整体平均值周围,并且呈正态分布。

有一个经验是,样本数量必须达到30,中心极限定理才能保证成立。

标准误差就是所有样本平均值的标准差!

第十章 统计推断与假设检验

统计学无法确凿地证明任何东西。与之相反,统计推断的力量在于:先发现一些规律和结果,然后再利用概率来证明这些结果的背后最有可能的原因。

统计推断是一个让数据说话、让有价值的结论浮出水面的过程。这就是回报!统计学的意义并不是进行无数次高深的数学计算,而是在于更好地洞察社会现象背后的成因。

一个藐视几乎所有科学常识的结论就其本质来说应该是超乎寻常的,因此就更需要超乎寻常的证据来证明它。如果忽视了这一点,正如那些充满争议的科学分析故意做的那样,会使得许多研究成果的重要性被夸大。

第十一章 民意测验与误差幅度

一个错得离谱儿的民调结果通常并不是因为数学不好而导致标准误差计算错误,而是因为一个有偏见的样本或不合理的问题设计,或者二者均有。

任何一种将群体中的某类人排除在外的观点收集方法,都有可能造成偏见。

政客们总是通过非中性词的使用来操纵选民的反应。如果一个中立、正直的民调机构想要获得正确有效的结果,它们必须警惕那些可能会影响反馈信息准确性的用语。

关键在于要在一个大背景下看待民意测验的结果。对于一个复杂的话题,只看一个问题或一次民调结果是不可能完全看透公众的心理的,此时更需要有大局观和联想力。

第十二章 回归分析与线性关系

其实最危险的一类工作压力来自于对自己的工作任务“缺乏控制力”。

回归分析能够在控制其他因素的前提下,对某个具体变量与某个特定结果之间的关系进行量化。也就是说,我们能够在保持其他变量效果不变的情况下,将某个变量的效果分离出来,例如从事某项特定的工作。

最核心的一点是,回归分析寻找的是两个变量之间的最佳拟合线性关系。

要时刻关注解释变量与我们所关心的结果之间相关关系的大小。

一个经验法则就是,当回归系数至少是标准误差的两倍或以上的时候,该系数极有可能具有统计学意义。

如果搜索发表的公共健康文献,会发现“低控制力”的观点已经发展成为一个专有名词—工作疲劳,专指那些“精神负担重”、“决策水平低”的工作。

第十三章 致命的回归错误

回归分析可以说是统计学弹药库中的“氢弹”。无论是谁,只要有一台电脑和一个大型样本数据,在家中或者办公室里就能成为一个研究员。这样做会出什么错呢?各种错误。回归分析为复杂的问题提供了精确的答案,但这些答案却不一定准确。

以下就是让回归分析这一非凡的工具沦为“邪恶”工具的7个最常见的错误:①用回归方程式来分析非线性关系;②相关关系并不等同于因果关系;③因果倒置;④变量遗漏偏差;⑤高度相关的解释变量(多元共线性);⑥脱离数据进行推断;⑦数据矿(变量过多)。

只有当变量之间的关系为线性时,回归分析才可派上用场。课本以及其他高阶统计学课本还将介绍更多有关回归分析的主要概念,但万变不离其宗的是,无论是什么工具,离它的初始功能偏差越大,其效果就会越差,有时候甚至还会有危险。

关键在于,我们不应该使用那些(我们正在花大力气解释的)受结果影响的解释变量,不然的话,因和果将会永无休止地纠缠下去。

我们应该确保解释变量会影响因变量,而不是相反情况。

假如回归方程式中遗漏了某个重要的解释变量,尤其是当方程式中的其他变量又恰好“覆盖”了遗漏的解释变量的影响,那么回归分析的结果就会变得非常具有误导性,甚至与真相背道而驰。

本章精选的所有警示其实都可以浓缩为两个基本经验。第一,设计一个好的回归方程式,想清楚应该考虑哪些变量、应该从哪里收集数据,一个好的方程式要比统计计算本身更加重要。这个过程可以通过对方程式的评价和回归方程的具体化来实现。优秀的研究人员能够对变量进行逻辑思考,决定哪些变量可以加入到回归方程式中,发现还有哪些遗漏的变量,以及正确解读最终的分析结果。第二,与绝大部分统计推断一样,回归分析始终以观察样本为立足点。

对于任何回归分析来说,都需要在以下方面得到理论支持:为什么方程式里要有这些解释变量?通过其他学科领域是否也能解释这个分析结果?

分析得出的结论需要具有可复制性,至少也得与其他科学发现相一致。

第十四章 项目评估与“反现实”

最精致的研究与其他任何精致的事物一样,都有一个共同点,那就是价格不菲。

任何非随机分配都会产生偏见,至少是有存在偏见的可能性。

相比起毕业证书上的学校名字,正确认识自己的兴趣、抱负和能力更能成就人的一生。

任何“前与后”类的分析均面临着一个挑战,那就是仅凭一件事情紧随另一件事情的发生,并不能推断两件事情之间存在因果关系。

无论在医学、经济、商业、司法还是其他任何领域,我们总是在关心治疗或介入手段是不是真的起了作用。但是,因果关系是一根难啃的骨头,我们有时候甚至连明显得不能再明显的原因和结果都无法确定。

对于任何一个项目评估来说,其目的都是为评价治疗或介入手段的效果提供某种“反现实”。在随机控制实验中,对照组就是“反现实”;但当对照实验不具有可行性或有违道德时,我们就需要寻求其他方式来模拟“反现实”。对这个世界的探索在很多时候就依赖于寻找“反现实”的聪明才智。