实验速度与学习速度

我将“实验速度”作为重要的创新会计KPI推广是错误的。 我要告诉你原因和解决方法。 但是首先让我简要地告诉您,我最初是如何得出结论的,“实验速度”是创新会计KPI来统治所有这些因素。

财务KPI不应用于衡量新业务。 新生的企业不可能与财务KPI上的成熟企业竞争。 因此,需要创建一个新的动态/灵活的KPI系统。 否则,公司将无法证明对新企业的投资是合理的。

但在公司的防御中:没有可行的方法来替代久经考验的财务KPI系统,并且迫切需要做出投资决策,因此他们回到了自己的舒适区。 归根结底,数十年来,底线思考一直是企业发展的中心。

但是,由于无效的假设是企业失败的第一大原因,因此需要采取一些措施。 精益创业思维神话,鼓励产品团队在发布之前测试其假设。 随着这种思维方式逐渐在企业界聚集追随者,“实验速度”看起来像是标准ROI的良好KPI替代品。

那么“实验速度”到底有什么问题呢?

首先,可以有意或无意地玩“实验速度”。 产品团队知道他们正在测量自己的“实验速度”时,可能会声称他们所做的每件事都是实验。 或者,给他们带来疑问的好处,他们不知道如何设计正确的实验,因此尽管速度很高,但影响却很小。

通过使用精益创业公司作为所有产品团队的mods-operandi,为一家蓝筹公司做一些创新生态系统设计工作,我发现“实验速度”有时会误导创新会计KPI。

看一下这两个团队的表现:

格林团队:实验

橙色队:实验

显然,绿色团队比橙色团队进行了更多的实验。 Green团队的平均“实验速度”为每周2.1次实验,而Orange团队的平均“实验速度”仅为1.3次。 如果仅将“实验速度”视为一项绩效KPI,那么格林团队无疑将是赢家。

但是深入研究,我得出了一个截然不同的结论。 看看其中有多少实验导致了结论性学习,我发现“实验速度”有时会为您指出错误的结论。

Green Team:实验与学习

橙队:实验与学习

如您所见,两个团队达到了相同的平均“学习速度”,大约为每周0.75次学习。

产品团队的目标是尽快获得经过验证的学习,因此“学习速度”应胜过“实验速度”。 但不要更换它。

尽管确实可以通过实验来学习,但要达到100%的相关性却相当困难。 实验不能产生结论性学习的原因很多,但结果是一样的:浪费时间。

通过查看团队的“实验/学习比率”,可以充分了解团队以及他们需要什么类型的帮助(如果有)。

考虑低于1的“实验/学习比率” 。 该团队可能正在运行一些多层次(类似漏斗)的实验,他们在渠道的每个阶段都在收集学习信息。 在这种情况下要注意的一件事是,该团队可能会进行多变量实验,如果操作不当,可能会导致误导性见解。

现在考虑大于1的“实验/学习比率” 。 这意味着所讨论的团队所进行的实验数量超过了他们所获得的学习数量。 这可能表明他们正在努力设计有影响力的实验,因此可能需要辅导。 或者,在最坏的情况下,他们正在尝试“游戏系统”,但具有很高的“实验速度”数字。

“实验/学习”比率等于1 ,表示团队执行的实验次数与他们获得的结论性学习次数之间具有100%的相关性。 这将是最佳情况。

需要指出的重要一点是,随着团队的成熟,加班的实验速度会下降。 这是由于实验变得越来越复杂并且需要更多的准备。 因此,测量比率比相互独立地测量两个速度更重要。

在“跑道”为“剩余时间”除以“迭代长度”的情况下,“学习速度”胜过“实验速度”。

归根结底,衡量创新不仅仅在于衡量速度和口粮。 这些是策略,策略是上下文的,而策略是概念的。 创建创新会计系统的策略是更改所提出的问题 。 这些问题需要与受审查产品的成熟度相关