坎贝尔定律和古德定律:当您要衡量失败时

几年前,我的一个朋友在家中入室盗窃。 宝贵的文物被盗。 但是,即使经过这么多的恳求,警察也拒绝向FIR提起诉讼。 他们列出了被盗的物品,但我们绝对不能说服他们提交FIR。 他们给了我们各种各样的理由,有的没用,有的是虚假的。 当时我们无法弄清楚为什么他们不愿意注册FIR。

您会看到,一个地区的犯罪率是由在警察局注册的FIR数量来衡量的。 如果注册了许多飞行情报区,这对警察来说是不好的话。 这极大地伤害了他们的事业。 因此,他们对系统进行游戏 。 如果没有飞行情报区,那么该地区理论上就不会犯罪。 答对了! 我们如何解释这种行为?

已经确定,当您仅基于定量指标来衡量有效性时,所涉及的人员就有很大的动机来表现出较少的道德行为,并且很可能也不太有效。 这称为坎贝尔定律。

定量的社会指标用于社会决策的次数越多,遭受腐败压力的压力就越大,越倾向于扭曲和破坏它打算监测的社会过程。 —坎贝尔定律


激励结构起作用,”史蒂夫·乔布斯(Steve Jobs)说。 “因此,您必须非常谨慎地激励人们去做,因为各种激励机制会产生您无法预料的各种后果。” Y Combinator总裁Sam Altman回应了乔布斯的警告语:“的确,公司将建立首席执行官决定衡量的一切。”

但是测量仍然很重要。 度量是帮助我们获得结果的工具。 可以在自我改进技术中以及与KPI,OKR和类似方法相关的业务中找到度量。 度量是有效的,因为它们会迫使您深入研究他们的实际意图,并对自己负责。

“测量是导致控制并最终改善的第一步。
如果无法衡量某事,您将无法理解。
如果您听不懂,就无法控制它。
如果您无法控制它,就无法改进它。”
— H.詹姆斯·哈灵顿

不幸的是,也有强有力的证据表明测量可能很危险。 实际上,要想出没有某种有害影响的激励措施或措施是非常困难的。

如果职业介绍所通过您进行的面谈次数来衡量您的工作效率,它将激励您尽快进行会议,而无助于客户实际找到工作。

专注于生产指标的工厂会鼓励您忽略维护和修理,从而造成未来的灾难。

对于Google广告,当您以每千次展示的费用为基础向您付款时,您的动机是想出如何在每个页面上展示最多的广告,并确保访问者通过点击诱饵看到该网站上最多的页面。 UX被扔出窗口。 从短期来看,您的网站可能会获得更多收益,但是从长远来看,充斥广告的文章,加载缓慢的多页幻灯片显示以及耸人听闻的Clickbait头条新闻将吸引读者。

如果大学录取要求撰写论文,您将付费给撰稿人撰写这些论文。 如果点击推动新闻业发展,您将撰写耸人听闻的文章。

衡量和激励措施密切相关。

这方面的经典例子发生在印度。 政府向捉住并杀死蛇的人提供奖励。 出乎意料的结果:人们开始繁殖更多的蛇以获得奖励。 这也称为“眼镜蛇效应”(Cobra Effect), 当试图解决问题使问题变得更糟时,这是一种意料之外的后果。


坎贝尔定律的近亲是古德定律。

“当一项措施成为目标时,它就不再是一项好的措施。”-古德哈特定律

所有评估指标都将被滥用。 古德哈特定律指出,当经济特征被选为绩效指标时,它不可避免地停止充当该指标,因为人们开始对其进行博弈。

如果忽略了情境的其他同等重要方面,则会导致问题。 在我们的工作安置公司示例中,进行面试的数量是一个很好的目标,并且您尽职尽责地努力增加您的数量。 但是,通过仅选择一种衡量成功的指标,它会激励您(不知不觉中或不知不觉中)以数量为名牺牲质量。 仅将一个指标设置为整体性能的代理是一个很大的错误。 您对激励措施做出反应,并且您的天性就是最大化您的判断标准。

您可以在许多领域看到其效果。 在学校里,您有一个目标:最大化学习成绩。 专注于一个数字对您的实际学习有害。 激励您记住要测试的内容,然后立即忘记所有内容,以便为下一个测试做好准备,而无需考虑您是否真正理解了这些概念。 您可以通过寻找掩盖事实的策略来对系统进行游戏。 鉴于在学校如何衡量成功的程度,该策略效果很好,但这并不是实现良好教育的最佳方法。


您很容易从心理上处理一个数字以汇总分析,但是在大多数情况下,最好报告多个度量。 有时候,一个精心设计的度量标准可以鼓励您想要的行为,例如提高退休储蓄率,但是,请记住,人们总是会尝试最大化您选择的任何度量,有时甚至在不知不觉中,这一点很重要。

最后,如果您最终以其他同样重要的因素为代价而实现了一个目标,那么您的解决方案将无法真正解决问题。 解决问题的第一步就是确定衡量成功的正确方法。 最好的评估方法不是使用单个数字,而是通常使用一组测量值-定性和定量的组合。 通过选择多个指标,您可以设计解决方案,而不会因针对狭窄目标进行优化而产生意外后果。

消除不良衡量指标的副作用的一个很好的例子是任何社交媒体产品。 如果社交媒体产品中最重要的指标是参与度,那么您会奖励人们特定的指标-点击次数,赞,喜欢,观看,评论等,人们总会找到一种“游戏”系统的方法。 敲钟吗?

嗨,我是Abhishek。 我撰写了50多篇论文,并在Lifehacker,今日心理学,ACM数字图书馆,Springer和交互设计基金会中得到了精选和引用。