关于ROI监控体系化

2023年9月27日创建

     前几篇聊决策支持和看清与洞察的文章中，很多次提到现阶段，ds去解决一些在资源有限的情况下，怎样最大化提升经营效率的命题变得极其重要，今天会针对性地聊聊解这个命题的绕不开的一个点，ROI 的评估；​

    当然ROI 的算法一定不是重点，以评估结果来指导策略的迭代和做一些正确决策支持才是重点，而这需要一套ROI监控体系化来实现！！​

一、为什么要做

在c端，我们会有诸如发券、拉新、乘客任务、会员等多种策略，DS同学会去帮助看清各策略的效果，具体实现方法的通过AB实验分流出没有上该策略的空白组，最终根据实验结果评估各策略的ROI ( △GMV / △C补）；​

在单个策略的评估上，这样看肯定是，但这样看存在的几个问题是：​

1、横向可比性存疑：

问题1：口径存在差异

不同策略的评估需求很可能是不同的业务同学以及不同的DS同学在做评估，指标的口径很可能存在差异，自然不同策略的ROI也不能拉齐做比较；​

问题2: ROI 存在边际递减效应

不同策略的ROI 之间要实现横向可比，需要保证不同策略的空白组补贴相似，且策略增加的补贴资源相似；​

  可以观察到：情况1的由于面包组，本身空白组的的面包已经有8个了，所以再增加一个面包的幸福感显然不如冰淇淋组只有3个冰淇淋的带来的幸福感大；情况2由于在面包组突然间多了10个面包，对比冰淇淋组仍然只增加了一个，所以面包组的单位效应肯定是弱于冰淇淋组的。​

2、纵向可比性存疑：

比如现在一个拉新策略做了在23年3月做了迭代优化，希望和上一版策略进行纵向对比：​

方法1:

   23年3月的策略2vs 空白组计算出ROI2 ，和之前22年10月以同样方法计算的ROI1 对比；​

   风险点：两个时期市场环境差异可能是极大的（疫情的时候，滴滴再给你补贴，你连小区也出不去啊）；​

方法2:

   23年3月的实验，对照组留两个（ 22年10月的策略 + 空白组），分别计算（策略1 和 策略2） vs 空白组的ROI ​

  优势：解决了方法1中两个ROI 在不同市场环境下不能直接对比的问题​

  风险点：未考虑到季节性因素的影响；计算出的ROI仍然只是在3月的市场环境下实验期间的静态ROI ，很可能在5月的时候，市场环境发生较大变化，两个策略ROI 的排序发生逆转，仅单个实验周期的结果指导全年业务欠妥； ​
​

二、怎么做

1、解决横向可比性

    口径存在差异，关键是TOP down 的方法推动大家拉齐口径即可；​

    但ROI 存在边际递减效应导致的横向不可比问题解法还是需要思考思考；​

     call back 上面提到的冰淇淋和面包的例子，决策者可能会基于此数据得出我们可能更多的买面包的资源腾挪给到买冰淇淋的结论，但显然，这并不是合理的；​

一种可解的方案是：不同策略的实验中，分别设立边际组

关于ROI监控体系化​