克服过早的评估

克里斯·罗什 (考拉-我是袋鼠,对)是一个朋友,也是一个出色的发展思想家,即使他有一个

克里斯·罗奇和DG墨尔本-2014年11月

能够像机枪一样引用发展术语的惊人趋势。 如果您可以通过第一段,那么这很值得您花时间。

对安全失效实验,快速和快速的实时反馈循环失败的兴趣日益浓厚。 这是从“与众不同的发展”人群和其他人群中涌现的一系列建议的一部分。 这也符合澳大利亚和英国部长的言辞,后者负责制定援助预算,以在失败的项目和计划被认为不起作用时迅速将其关闭。

当涉及到复杂的设置时,“爬行设计空间”和测试选项有很多优点,但我认为与此相关的还有很多问题,这些问题应该增加播放时间。 首先,正如迈克尔·伍尔科克(Michael Woolcock)和其他人所指出的那样,一个程序要花些时间才能产生积极的,可衡量的积极成果,也许在某些方面,一个程序可能最终成功地跌到了“正常工作”曲线的下方。那成功。 有人称之为“ J曲线”。

罗氏图2

此外,更重要的是,它忽略了嵌入程序的复杂自适应系统的某些关键方面。 在卫生政策领域,Alan Shiell及其同事指出,复杂系统中的非线性变化很难在其早期阶段进行测量,仅将可观察到的变化汇总在一起便无法探索这些变化共同产生的新兴特性。

他们指出,例如,在枪支管制等公共卫生政策的许多领域中,“ 多次”倡导事件”可能对政策没有明显影响,但随后达到了临界点,发生了相变,并引入了新法律。 在寻找因果关系时,倡导者在创造变革条件中所扮演的角色很容易被忽视,而有利于重大而紧迫的事件。 为了最大程度地降低过早评估和错误归因的风险,经济学家必须适应于过程或影响中间变化的证据,这些中间变化是阶段过渡的前提 。 在此类情况下进行过早评估可能会导致潜在成功的计划被关闭,或者资金被停止。

那么,程序如何更好地衡量和传达程序的倾向,以便在可能的情况下以及何时出现,抓住机会(或紧要关头)?

首先,与许多复杂性理论家和一些开发实践者长期以来所提出的观点一致的是,关系变化往往是导致流程发生实质性变化的核心要素,而变化是流程变化的核心。 关系实践中的这些变化,即人,组织,国家之间如何相互联系,最终可以创造新的游戏规则或机构。 但是,这些制度形式将是一种新兴财产,并且无法事先预测。 因此,需要的是有关更改关系的信息,这些信息可以使人们放心,基础系统的工作正在发生更改。 “工作原理和原因”(W3)项目提供了这种方法的一个有趣示例,该项目运用系统思维来理解由同行领导的计划在公共卫生应对中的作用及其在社区,政策和部门系统中的影响。

需要探讨的第二件事是项目与项目所在的系统之间的反馈循环 。 这些通常被忽略,因为监测和评估方法往往是“计划外”的,即它们始于“干预”,并拼命寻求他们希望受益的人口群体之间直接可归因的变化。 另一方面,方法中的“上下文”认识到活动或项目的价值可以随操作环境的变化而随时间变化,并且存在多种因素

持续时间更长的计划

容易引起这些变化。 因此,例如,在学校进行的大规模射击可以从根本上改变人们认为枪支管制程序所具有的价值,进而影响其成功的能力。 使社区组织,地方政府部门,活动家以及系统中的其他行为者成为此反馈的一部分,是整个过程的重要组成部分。 像Ushahidi这样的组织提倡使用公民生成的数据,可以在适当的情况下以及充分考虑政治因素的情况下实现这一目标。

需要认识到的第三个要素是,简单地将各个项目的结果(例如健康,收入或教育的变化)相加并不能抓住整个系统的新兴特性 。 正如印度所指出的,建立配额以使妇女进入地方政府的集体“社会效应”具有重要的乘数效应。 反复接触女性领导人“改变了村民对女性领导人效能的信念,并减少了她们与家庭活动的联系”。 诸如此类的结果需要以适合任务的不同方式在多个级别上进行衡量,并在上下文中加以考虑而不是试图消除它。

现在,当然,现在人们花钱支持渐进式社会变革的过程中,需要有一些迹象表明,他们所支持的东西可能或更真实地成为天鹅,甚至是凤凰。 我认为以下是他们需要关注的一些事情:a) 关系变化性质是什么(例如,通过有想象力的社交网络分析来捕获),b)是否存在有效的学习和反馈回路,c)确保他们提出的要求鼓励进行多层次的分析 ,学习和决策 ,避免了简单的汇总和结果的累加。

因此,我全力以赴地进行迭代,适应性和实验性开发,但是如果我们不只是要说“上下文问题”,还需要更彻底地辩论“快速失败”的劝告。

感谢同事Alan Shiell和Penny Hawe对早期草案的评论。

同样,乐施会的金伯利·鲍曼(Kimberly Bowman)在新的 Real Geek博客 上发表了精彩的文章