我今天要复习的三本书正在探讨严重滥用统计和数学的方式。 在数据是“新油”的时代,当互联网充满了不受控制的事实时,了解大脑的盲点并配备能够分析所呈现信息并从欺骗中说出真相的机制非常重要。
凯茜·奥尼尔(Cathy O’Neil)的数学毁灭武器

就像机智的名字所暗示的那样,数学毁灭武器通过表示人为偏见,提出新的偏见(有些我们甚至都不会想到)或使人为偏见来描述“大数据”新世界中使用的数学机制。基于分析不良的数据得出的结论。
本书将人们用于分析的模型分为两类:合理的模型,它们使用反馈数据来增强和改进自己,减少不良决策的数量并确保结果代表最初的期望; 坏的(通常被称为“毁灭性武器”,WMD,称为“数学毁灭武器”)会经常被用作黑匣子机制,错误地陈述了数据,将重要的决定基于数据,即没有直接依附于测量结果,没有反馈机制,不发展和改进。
- 一年结束时通常是对人进行回顾和自省的时间-我们该怎么做…
- 书评:香蕉—改变世界的水果的命运丹·科佩尔(Dan Koeppel)
- 如何成为您所在领域的关键
- 欣赏这20部出色的侦探小说系列,环游世界
- 评论荷兰床单的“祷告基本指南”
作者说,大规模杀伤性武器这些年来随处可见。 在教育中 ,教师可以根据学生的SAT分数进行排名(然后由于表现不佳而被解雇),而大学可以根据与学生的实际表现及其对生活的影响几乎没有关系的指标对大学进行任意排名。 在保险中 ,费率是通过将人们分类为所谓的“群体”来计算的,他们所谓的“群体”属于并代表潜在的群体行为,而不是个人行为。 在政治领域 ,可以根据预测者的个人品味和偏好,通过预测实际上可以改变观点的人(所谓的摇摆选民)并以定制模式介绍候选人,从而以最少的投资来计划竞选活动。 在金融领域 ,不良信用评分会使整个社会群体陷入(金融)死亡螺旋。 在就业中 ,相同的信用评分可以用作成功的预测指标。 在广告中 ,我们的欲望和见解可能被巧妙地操纵以便使我们花钱并促使我们做出非理性和不明智的决定。
本书触及了现代社会中极为重要的主题。 由于无能或恶意,许多行业正在忽略的事情。 坐下来,认为只要没有亲自碰到WMD(因为有任何想象中的特权),它都是可以滑的坡度:在这方面没有人特别,WMD认为我们所有人都只是数据点,将无情地对待我们。 查看这本书以了解更多有关它的信息。
在网上讨论这本书时,有人建议说它还没有深入到数据收集和算法的使用和滥用这一主题。 我想到的第一件事是已经有一本关于该主题的好书:
亚历克斯·赖因哈特(Alex Reinhart)的统计数据做错了

作为一本免费的在线书籍出版,并且是扩展出版的对应书籍,《统计错误》是当今讨论的三本书中技术性最强的。 它还请您谈谈数字,统计和数学这一主题,如果您愿意的话,可以说是“大数据”,但是这一次-查看统计的技术性并描述如何精确地使用数字来充实我们。
作者告诉我们,科学家如何发表不可重复的研究,如何通过滤除矛盾的数据点使数据偏斜,以使他们的结论与论文摘要相符;在不合理拒绝“零假设”的情况下进行了多少研究,这导致了无法在所研究的受试者(例如新型流感药物)与患者健康状况之间建立牢固的关系,一些研究如何发表关于所分析的新药物没有不良作用的结论,并说没有统计学依据这两个研究组之间存在显着差异,而实际上,他们应该说他们没有足够的数据来检测任何差异,只有最大的差异。
该书还讲述了许多故事,例如在美国如何建立“变红”规则,描述了一些统计悖论,例如中西部,南部和西部农村县如何同时出现最低和最高的肾脏发病率。癌症,分析善意的科学家用来夸大其发现的重要性以便在噪声世界中被人们听到的方法,科学家如何重新进行实验以证明该假设是正确的,就像“果冻豆和粉刺” XKCD所述。
与WMD一样,SDW也讨论伦理学,尽管在这种情况下更多地是研究和出版伦理学,但由于统计学对科学进一步发展的极端重要性,它试图引起公众的关注并开始讨论。
这本书写得很好,绝对值得一读。 很高兴,即使其中涉及一些统计信息,它仍然非常易于访问且易于阅读。
当我读完《数学毁灭性武器》时,我想把它放在书架上,并开始想知道它可能在哪里。 浏览其中一个书架上的书名后,令我感到惊讶的是,我最近读过的另一本有趣的书在主题上非常接近:
乔丹·埃伦伯格(Jordan Ellenberg)的《如何不要错》

这本书从第二次世界大战的故事开始,讲述了他所工作的亚伯拉罕·沃尔德和统计研究小组。 该小组除其他外正在研究数据,以便做出预测并试图改变战争的进程。 他们被赋予的任务之一是分析数据,并提出一种用防弹衣加固盟军飞机的方法,使它们保持足够轻巧的程度,以使其易于操纵并消耗合理数量的燃料,但同时,以更好地保护自己免受敌方战斗机的袭击。
长话短说,在尝试了许多不同的事情并加固了敌人似乎最成功瞄准(和命中)的部分之后,他们没有注意到返回飞机的百分比没有改善。 Wald尝试了许多不同的事情,但是有一天他决定从不同的角度看待数据:由于可用于统计分析的飞机实际上已经回到了基础上。 他们在机身,燃油系统,机翼和其他部件上有子弹孔。 令他震惊的是,引擎损坏的飞机数量惊人地低。 一直以来,他们都在问一个错误的问题。 他们试图了解子弹孔在哪里,而他们本应该试图了解子弹孔在哪里。
在基于该见解提出新建议后,他们看到了统计方面的重大改进。 事实证明,答案经常被人看不到。
这本书充满了类似的故事和数学技巧:作者讨论了征税问题(和拉弗曲线),精确度问题(以及为什么地球可能看起来平坦),为什么0.9999…= 3 * 1/3 = 1,极限和无穷小,线性回归和投影问题(通过证明到2048,地球100%的计算将是肥胖的),然后证明即使2048年地球100%的计算将是肥胖的,但100%的黑人将是肥胖的到2095年肥胖。
我不想破坏太多书,但我希望你有个主意。 作者提供了许多示例,并展示了传统的和广泛使用的工具如何能够呈现出不直观甚至有时是荒谬的结果,如何在篮球中使用统计数据(检测有“热手”的球员),在药物学中如何使用统计数据(以测试社交网络中的彩票(以及有关Monty Hall问题的详细阐述)讨论了具有统计意义和误报的问题及其对我们每个人的危险。
这本书很有娱乐性和洞察力。 它易于阅读,并提供了许多有趣且引人注目的示例。
祝您阅读愉快!
强烈建议您阅读所有三本书。 他们正在讨论我们作为一个社会面临的重要问题,并提出一些解决方法。 这些书都没有要求有很强的数学背景并且可以休闲地阅读。 但是,这些书引起的想法可能使您想更深入地理解一些不熟悉的概念,或者回顾您对已经知道的事物的看法。
如果您喜欢该帖子,并希望收到有关下一部分的通知,可以在Twitter上关注我。