诚实的演示是怎样的
一次诚实的演示首先要清楚地说明正在展示什么。我们会在每次会议开始时说明正在使用的模型、训练模型的数据、我们预期它能很好处理的输入类型以及我们预期它会处理不当的输入类型。这种框架使我们有权要求利益相关者带来自己的示例——包括那些令人尴尬的示例——并防止演示变成一场营销活动。
在可能的情况下,我们会在观众熟悉的数据上进行演示。例如,质量团队亲自检查过的零件的缺陷检测演示;最近一批联络中心通话记录的情感演示;以及过去一个季度的实际数据上的预测演示。当数据属于他们自己时,房间里的反应会立即改变,提出的问题会变得很有用,而使用通用数据时则不然。
会议特意结构化为双向对话。我们对观众提出的问题和模型对他们提供的输入的反应同样感兴趣;问题通常比任何基准更能可靠地指导技术是否是他们问题的正确答案。
- 实时、互动会话——非预先录制的视频
- 鼓励观众提供输入
- 清晰说明模型的优点和缺点
- 应要求匿名使用观众数据
- 后续记录观察和限制
- 可选的后续重点价值证明

