问题：测试一个新素材的效果（点击率）时，需要跑多少CPM才合适呢，或者多少CPM就能比较精准测出其效果（点击率）？ 直观上来看，当然是测的越多就越精准，但成本有限的，所以必须在成本与精度之间做一个权衡，那么如何权衡呢？ 假如预算很少，跑出来的结果可信吗？ 或者预算比较多时，是否可以节省预算呢？ 或无明显预算限制时，该如何抉择？ 再把问题拓展下，假如是做一次AB测试，那么此时的对比是有效的吗，能说明AB两个实验的点击率是有明显区别的吗 上述问题实际可以归结到统计学中的以抽样的占比反推整体占比的一个统计推断问题，前提是每次抽样都是真随机的，那么假设测试的曝光数为n,点击率为p, 那么可算出一个标准误差值 stderr=sqrt(p*(1-p)/n)，那么整体的CTR 有68%的可能性是落在[p-1*stderr, p+1*stderr]这个范围内 有95%的可能性是落在[p-2*stderr, p+2*stderr]这个范围内 有99%的可能性是落在[p-3*stderr, p+3*stderr]这个范围内 基于上述理论，我们就可以比较精准的回答上述问题了 根据测试的曝光数及CT.... 精准评估点击率需要多少个CPM呢 数据分析
Fancy的技术博客