从决策出发,而非算法
每一次预测参与都始于一份书面决策规范。模型将为哪个决策提供信息?谁来做决策?两边方向的错误成本是多少?决策者需要多快获得预测,以及需要什么粒度级别?当前正在增强或替换的流程是什么,并且它在相同指标上的表现如何?如果没有这些答案,建模工作往往会倾向于数据科学家最擅长优化的任何指标;有了这些答案,之后的每一次权衡都有了参考点。
我们特别关注不对称成本。在需求预测中,对易腐库存的过度预测成本与对旗舰产品的预测不足成本不同;在客户流失建模中,假阳性可能触发昂贵的挽留优惠,而假阴性则会完全失去客户。我们设计损失函数、决策阈值和置信要求,以明确反映这些不对称性,而不是依赖默认的对称指标来美化模型。
预测范围受到同样的关注。短期预测和长期预测通常是不同的问题,需要不同的特征和不同的模型。我们抵制将一个模型应用于所有预测范围的诱惑,并且我们构建规划界面以明确暴露预测范围。
- 建模前的决策规范
- 非对称损失和阈值调优
- 适用于预测范围的模型选择
- 层次结构(区域、渠道、SKU)
- 新实体的冷启动策略
- 人工判断的覆盖工作流程

