大数据处理

我们分层设计数据平台，层与层之间有明确的接口。青铜层（Bronze layer）忠实地捕获源数据；白银层（Silver layer）进行清洗、规范和连接；黄金层（Gold layer）暴露供分析师、数据科学家和应用程序使用的实体和指标。每个层都有自己的所有者、自己的质量期望和自己的演进规则。这种严格规范的工作虽然看似平淡，但回报丰厚：一个异常数据集合可以被快速定位、解释和修复。

在每个层中，我们使用最适合工作负载的存储格式和查询引擎。湖仓一体格式——Apache Iceberg, Delta Lake, Apache Hudi——越来越多地让我们能够在湖经济学存储上运行仓库式分析，同时保留了生产工作所需的工程特性（ACID写入、时间旅行、模式演进）。当黄金层需要真正的仓库性能时，我们乐于将整理好的数据导入Snowflake、BigQuery、Redshift或Synapse。

流处理被视为一种一流的交付模式，而非事后补救。我们使用Kafka、Kinesis或Pub/Sub进行传输，使用Flink、Spark Structured Streaming或Beam进行处理，并使用Iceberg或Delta进行着陆——同时享有批处理管道相同的质量和治理控制。Lambda风格的架构（并行批处理和流处理路径）是我们现在积极避免的；其操作成本很少能得到 оправдания。

• 青铜/白银/黄金分层设计
• 开放表格格式 (Iceberg, Delta, Hudi)
• 在有价值的地方优先采用流式摄取
• 带有生命周期策略的云原生存储
• dbt 或 Spark 中可重用的转换
• 反向ETL到运营系统

质量并非数据集的属性；它是生成数据集的管道的属性。我们通过明确的期望（模式、值范围、参照完整性、新鲜度）来检测每一次转换，并将违规行为视为具有自身操作手册的一级事件。Great Expectations、dbt tests和Monte Carlo等工具在我们的部署中占据了一席之地，但工具的重要性远不及在文化上承诺修复生产者而非向消费者道歉。

我们特别关注数据血缘。每一个重要的数据表都有一个生成的血缘图，展示上游来源、应用的转换以及下游消费者。当仪表板出现异常时，分析师可以将其追溯到特定的作业执行，而无需等待数据团队进行调查。这一单一功能显著减轻了数据团队的临时支持负担。

隐私控制与质量控制并存。个人数据在摄取时被识别、分类，并根据适用的策略进行保护。当数据跨越层边界时，会应用脱敏、令牌化和聚合，确保敏感的原始数据绝不会暴露给不需要它的查询界面。这是隐私设计的架构体现，并且比事后补救控制要经济得多。

在开发中显得优雅，在生产中却脆弱的数据管道通常有着相同的根本原因：它们从未被设计为可操作的。我们设计的管道具有幂等性，能够从任何点重放，并以易于诊断事件的方式进行检测。故障是预期之内并可被吸收的；恢复无需英雄般的工程师在凌晨三点出马。

编排是集中化的——通常在Airflow、Dagster或Prefect中——并具有通用的命名约定、重试机制、警报和SLA。在适当的情况下，我们在数据产品层面分层设定服务级别目标，以便面向消费者的及时性和可用性承诺是明确且可衡量的，而非仅仅是期望。

我们把成本视为平台的一个属性，而不是在月底才发现的事情。根据作业、团队和数据产品，持续地对计算和存储进行分析，由此产生的可见性通常在一个季度内就能收回成本。我们曾多次在不牺牲性能的情况下，通过简单地替换团队继承而从未衡量的浪费模式，将云数据支出削减了20%到40%。

“一个无法运行的管道是负债，而不是资产。可操作性是设计的一部分，而非后期润色。”

我们工作中有相当一部分涉及将组织从传统ETL平台（如Informatica、Ab Initio、手写shell脚本、老旧的SSIS环境）迁移到现代云原生堆栈。这些迁移通常受到这样一个事实的限制：现有平台尽管笨拙，但仍在运行业务；停机和悄无声息的退步都是不可接受的。

我们将传统迁移视为一个工程项目，而非简单的“搬家”。我们清点实际使用的内容（通常远少于构建的内容），确定消费者，重新设计而非简单翻译，并行运行新旧系统，直到面向消费者的功能一致性得到独立验证。我们会抵制重建一切的诱惑；目标是迁移价值，而非代码行数。

在适当的情况下，我们将迁移融入更广泛的现代化工作中：引入语义层、整合重复逻辑、从行级安全转向列级安全，并淘汰不可避免的僵尸报告积压。这通常在第一天并不会更省钱，但更改成本会持续降低，而这正是大多数数据支出的核心所在。

合作范围从有针对性的干预——交付流处理用例、运行成本优化项目、评估迁移——到多年的平台合作。我们同样乐于将一支小型团队嵌入您的平台小组，并端到端地负责具体交付，我们会根据最适合工作性质的模型来定制合同结构（工时费、固定价格里程碑、托管服务）。

我们不销售平台或席位，除了适合您的环境之外，我们对云服务提供商没有偏好。您所见的工程师，就是我们部署的工程师。如果我们发现无法填补的空白，我们会直接说明并帮助您从其他地方获取资源。