Cada número nesta página é um que defenderíamos perante um comité de direção. Parece óbvio; não é. O estudo de caso padrão do setor reporta o ganho de manchete contra uma baseline cuidadosamente escolhida para fazer parecer o ganho máximo — o pior mês do ano passado, o rival baseado em regras mais fraco, uma métrica que só o modelo melhora. Não escrevemos esses. Cada métrica aqui foi acordada com a equipa de analítica do cliente antes do projeto começar, recalculada sobre dados de holdout que o modelo nunca tinha visto, e acompanhada ao longo do go-live e do primeiro trimestre completo de operação. Onde um número desiludiu, ou corrigimos o modelo ou o estudo de caso não foi escrito.
Esta postura tem consequências. Significa que projetos por vezes são entregues sem um estudo de caso publicável porque o ganho, embora real, não estava à altura do portefólio. Significa que os nossos estudos de caso são uma fração do que entregámos, e não um catálogo exaustivo. E significa que os estudos que aparecem são invulgarmente conservadores — muitos clientes pediram-nos para rever o número de manchete para o valor de produção real, uma vez assente o pó. Recusamos. O número que importava era o estimado antes da implementação; o número maior que surgiu depois é um bónus, não a afirmação.