Análise de Sentimento

A promessa original da análise de sentimento — uma única pontuação positiva ou negativa por mensagem — envelheceu mal. Uma avaliação negativa que se queixa da entrega é operacionalmente diferente de uma que se queixa da qualidade, e ambas são diferentes de uma queixa sobre preços. Agrupados como uma pontuação de polaridade, todos os três são invisíveis. O sentimento baseado em aspetos dissolve o agrupamento: cada mensagem é decomposta nos aspetos discutidos e no sentimento expresso sobre cada um, para que as análises resultantes se alinhem com a forma como o negócio está realmente organizado.

Tratamos os esquemas de aspetos como artefactos vivos. As categorias que importam no lançamento — serviço, preço, qualidade, entrega — precisam rapidamente de ser complementadas com outras mais finas, à medida que os dados revelam padrões que o esquema original não consegue expressar. As nossas implementações incluem processos explícitos para evoluir a taxonomia de aspetos sem invalidar relatórios históricos, para que as análises permaneçam comparáveis ao longo do tempo.

Juntamente com os aspetos, rastreamos a intenção (reclamação, questão, elogio, sugestão, sinal de abandono), a emoção onde é operacionalmente útil, e entidades nomeadas explícitas (produtos, locais, concorrentes). A combinação transforma um fluxo de texto num registo de eventos estruturado ao qual outros sistemas podem subscrever.

• Detecção de aspetos e sentimento a nível de aspeto
• Classificação de intenção (abandono, reclamação, questão)
• Reconhecimento de entidades nomeadas para produtos e marcas
• Classificação sensível ao sarcasmo para canais de avaliação
• Pontuação multilingue com modelos sensíveis à linguagem
• Trechos de explicação para a confiança do analista

Marcas que operam em vários idiomas frequentemente acabam com sistemas de sentimento paralelos para cada mercado, pontuados em esquemas ligeiramente diferentes, nunca totalmente comparáveis. Construímos sistemas multilingues únicos com esquemas consistentes e comportamento de pontuação consistente entre idiomas, para que um dashboard regional signifique o mesmo que um global e vice-versa.

Os nossos modelos combinam backbones de transformadores multilingues com adaptadores específicos para tarefas, ajustados a dados representativos de cada idioma de interesse. Onde um idioma específico tem poucos dados de treino, usamos treino aumentado por tradução, transferência interlinguística e rotulagem ativa para elevar a qualidade a uma paridade aceitável. Crucialmente, a avaliação é feita por idioma, não numa média que pode esconder um desempenho medíocre por trás de um forte.

Fenómenos específicos da linguagem — variação dialetal árabe, substantivos compostos alemães, níveis de polidez japonesa, sarcasmo inglês — são abordados através de recolha de dados direcionada e ajustes de modelo, em vez de melhorias genéricas. O resultado são análises multilingues que resistem ao escrutínio em cada mercado.

“Se o seu sistema de sentimento dá a mesma resposta em doze idiomas, questione se está realmente a ler algum deles.”

Análises de sentimento em repouso são interessantes; análises de sentimento em movimento são valiosas. Integramos a saída da classificação diretamente nos sistemas operacionais que agem sobre ela: encaminhamento de tickets de suporte, alertas de CRM, listas de supressão de marketing para clientes em risco, dashboards de roteiro de produtos para gestores de categoria, e notificações de equipas de RP quando tópicos emergentes começam a ter picos. O ciclo de feedback fecha quando as pessoas que agem sobre o sinal também podem anotá-lo, alimentando as etiquetas que melhoram o próximo modelo.

Os alertas em tempo real são tratados com cuidado. Falsos alarmes corroem rapidamente a confiança nos sistemas de alerta, por isso ajustamos os limiares com base no histórico de sinal-ruído, suavizamo-los com janelas apropriadas e associamo-los a intervalos de confiança que distinguem um pico genuíno de uma variação aleatória. Onde os alertas dependem de tópicos emergentes — problemas que não existiam no mês passado — usamos agrupamento online e métodos de detecção de tópicos para os identificar assim que atingem um volume operacionalmente significativo.

Os dashboards são projetados em torno das questões que os consumidores dos dados realmente fazem, e não em torno do que o cientista de dados achou interessante. Um gestor de produto quer ver o movimento semanal no sentimento de aspetos para os produtos que possui; um líder de centro de contacto quer ver a fila de tickets recém-negativos em tempo real; um diretor de marca quer ver a quota de conversa em relação aos concorrentes. Cada vista é construída a partir do mesmo fluxo de classificação subjacente.

Os benchmarks de sentimento públicos são um guia pouco fiável para o desempenho em dados reais de negócios, que são mais confusos, mais multilingues e mais específicos do domínio. Medimos a qualidade em amostras representativas dos seus dados reais, com etiquetas recolhidas das pessoas que normalmente adjudicariam casos ambíguos (a sua equipa de centro de contacto, os seus moderadores, os seus gestores de categoria). A linha de base resultante é aquela contra a qual todas as melhorias subsequentes são testadas.

Dedicamos atenção especial ao acordo entre anotadores. O sentimento é notoriamente escorregadio; se os seus próprios especialistas discordam entre si nas etiquetas, não se pode esperar que nenhum modelo produza uma saída consistente para além desse limite. Medimos explicitamente o acordo, refinamos as diretrizes quando são fracas e relatamos o desempenho do modelo em relação ao limite que a qualidade da etiqueta humana permite.

O viés e a imparcialidade são verificados juntamente com a precisão. Um modelo de sentimento que é sistematicamente mais duro sobre mensagens num idioma, ou sobre conteúdo de uma coorte de clientes, irá distorcer as análises a jusante de formas que levam muito tempo a detetar. Testamos explicitamente esses padrões e recalibramos onde eles aparecem.

Um projeto típico começa com uma descoberta numa fatia representativa dos seus dados de texto — talvez três meses de avaliações, tickets e menções em redes sociais — para caracterizar o volume, a mistura de idiomas, a distribuição de aspetos e as decisões operacionais que as análises irão apoiar. A partir daí, construímos um classificador inicial, integramo-lo num fluxo de trabalho prioritário e fazemos crescer a implementação à medida que o apetite por sinais aumenta. A maioria dos clientes começa com um único caso de uso (normalmente triagem de tickets de suporte ou detecção de problemas de produto) e alcança a implementação multicanal completa nos seis a doze meses seguintes.