图像处理服务

大多数令人失望的计算机视觉项目都可以追溯到采集阶段的问题。镜头不正确、光照不一致、相机位置漂移、帧率跟不上生产线速度，或者模型在生产中看到的图像与训练时的图像存在微妙但关键的差异。我们将采集视为系统的一部分，而不是固定的外部约束，并且我们很乐意指定相机、镜头、照明和机械支架，因为这样做将大大提高模型的准确性。

校准同样被低估。相机漂移、光照随季节和时间变化，传送带也会出现磨损模式。一个能够悄悄自校准——或者在校准超出可接受公差时发出警告——的视觉系统，将胜过一个更复杂但没有此功能的系统。我们将校准设计到操作生命周期中，而非作为一次性的设置任务。

如果现有采集基础设施已就位，我们会在其限制内工作，但当这些限制对可实现目标造成瓶颈时，我们会如实告知。关于固定照明设备的早期对话胜过无法解决物理问题的模型重训练周期。

• 相机、镜头和照明规格
• 同步多相机设置
• 现场校准和漂移检测
• 运行时图像质量监控
• 对运动、振动、脏污的耐受性
• 工业级硬件集成

现代深度学习理所当然地成为了许多计算机视觉任务的默认选择。但经典计算机视觉远未过时。在几何形状明确、光照可控且外观一致的情况下，经典方法通常更快、更便宜、更容易解释且更易于维护。我们许多最成功的生产系统都是混合的：经典流水线承担主要工作，而学习模型处理那些难以用确定性规则解决的残余案例。

当深度学习是正确的工具时，我们会仔细选择架构。目标检测、实例分割、语义分割、异常检测、基于嵌入的相似性和文档理解都拥有截然不同的架构家族，它们具有非常不同的成本和准确性特征。我们会在您的数据上、您打算部署的硬件上，并根据与系统将提供指导的操作决策相匹配的度量标准进行基准测试。

标注被视为一项严肃的工程活动。不一致的标签是模型性能不佳的最大单一来源，我们投入精力制定清晰的标注指南、定期进行交叉评级审查，并随着数据揭示哪些才是真正重要的案例而迭代改进标签方案。

“更好的标签通常胜过更大的模型。更清晰的光照通常两者都胜过。”

视觉工作负载对延迟和带宽有异常广泛的要求。高速包装线上的缺陷检测模型无法承受往返云端的延迟；而夜间批量运行的文档理解流水线则可以。我们设计部署模式以匹配：在延迟或带宽要求较高的工业PC和Jetson级硬件上进行边缘推理；对于吞吐量较高的批量工作，在服务器端进行推理；以及混合模式，其中轻量级设备端模型将不确定的情况交给更强大的云端模型处理。

推理优化被视为交付的正常部分。量化、剪枝、蒸馏、融合算子和运行时编译器（TensorRT、OpenVINO、ONNX Runtime、Core ML）通常能将一个学术模型转化为一个可以在严格延迟和功耗限制内运行的模型。精心执行的优化所带来的精度损失通常很小；而操作效益却是巨大的。

操作考量——无线更新、模型不可用时的故障安全默认设置、网络中断后仍能保存的本地日志记录、设备的安全访问——都与模型一起被设计。一个部署后无法安全更新的视觉系统，其使用寿命将以月而不是年计算。

我们为汽车、食品饮料、包装和电子产品制造商提供了缺陷检测系统，用视觉系统取代高速生产线上的手动检测，这些系统能更一致地捕捉更广泛的缺陷，并记录其做出的每个决策。我们建立了文档理解流水线，将数百万份入站表格、发票、对账单和合同转化为结构化数据，并通过置信度分数将可疑案例路由给人工处理，而非猜测。

在零售领域，我们部署了货架和货架图分析系统，将商店图像转化为运营信号——空缺、商品摆放错误、价格不一致——这些信号可以在同一班次内得到处理。在与医疗健康相关的环境中，我们建立了分诊支持工具，优先处理需要人工审查的病例，以及视觉搜索系统，以发现可比较的历史病例。在所有这些应用中，我们都小心地将系统定位为辅助而非替代，在风险值得的情况下，始终将人置于循环中。

如果一个用例是新颖的，我们会明确指出，并相应地调整发现的范围。计算机视觉并非魔术，并非所有问题都适合它；早期诚实的回答比晚期充满希望的回答更有价值。

生产中的视觉系统需要持续关注，但大部分关注可以而且应该自动化。我们通过图像质量监控、预测置信度分布、输入统计数据漂移检测以及采样图像仪表板来部署系统，让操作员能够直观地了解系统当前看到的内容。当操作环境发生变化时——例如新产品变体、新包装供应商、生产线速度变化——这些信号会在质量问题发生之前捕捉到变化。

再训练是例行公事，而非抢险救灾。我们精选了一个带有版本控制的代表性生产图像数据集，将操作员的反馈整合到标签中，并根据环境变化的速度，按适当的频率重新构建模型。每个候选模型都在与其前任相同的测试平台上进行评估，并且只有当它在重要的指标上至少与前任一样好时，才会被提升。