Analyse des Sentiments

La promesse originale de l'analyse des sentiments — un score unique positif ou négatif par message — a mal vieilli. Un avis négatif qui se plaint de la livraison est opérationnellement différent de celui qui se plaint de la qualité, et les deux sont différents d'une plainte concernant le prix. Regroupés sous un score de polarité, les trois sont invisibles. L'analyse des sentiments basée sur les aspects dissout le regroupement : chaque message est décomposé en aspects discutés et en sentiment exprimé pour chacun, de sorte que les analyses résultantes s'alignent sur la façon dont l'entreprise est réellement organisée.

Nous traitons les schémas d'aspects comme des artefacts vivants. Les catégories qui importent au lancement — service, prix, qualité, livraison — doivent rapidement être complétées par des catégories plus fines à mesure que les données révèlent des schémas que le schéma original ne peut pas exprimer. Nos déploiements incluent des processus explicites pour faire évoluer la taxonomie des aspects sans invalider les rapports historiques, afin que les analyses restent comparables dans le temps.

Outre les aspects, nous suivons l'intention (plainte, question, compliment, suggestion, signal de désabonnement), l'émotion là où elle est opérationnellement utile, et les entités nommées explicites (produits, lieux, concurrents). La combinaison transforme un flux de texte en un journal d'événements structuré auquel d'autres systèmes peuvent s'abonner.

• Détection d'aspects et sentiment au niveau de l'aspect
• Classification des intentions (désabonnement, plainte, requête)
• Reconnaissance d'entités nommées pour les produits et les marques
• Classification sensible au sarcasme pour les canaux d'avis
• Notation multilingue avec des modèles sensibles à la langue
• Extraits explicatifs pour la confiance de l'analyste

Les marques opérant dans plusieurs langues se retrouvent fréquemment avec des systèmes de sentiment parallèles pour chaque marché, notés sur des schémas légèrement différents, jamais tout à fait comparables. Nous construisons des systèmes multilingues uniques avec des schémas cohérents et un comportement de notation constant à travers les langues, de sorte qu'un tableau de bord régional signifie ce qu'un tableau de bord mondial signifie et vice versa.

Nos modèles combinent des architectures de transformeurs multilingues avec des adaptateurs spécifiques aux tâches, affinés sur des données représentatives de chaque langue d'intérêt. Là où une langue particulière a peu de données d'entraînement, nous utilisons l'entraînement augmenté par la traduction, le transfert interlinguistique et l'étiquetage actif pour atteindre une parité de qualité acceptable. Surtout, l'évaluation est effectuée par langue, et non sur une moyenne qui peut masquer une performance médiocre derrière une forte.

Les phénomènes spécifiques à la langue — variation dialectale arabe, noms composés allemands, niveaux de politesse japonais, sarcasme anglais — sont traités par une collecte de données ciblée et des ajustements de modèle plutôt que par des améliorations génériques. Le résultat est une analyse multilingue qui résiste à l'examen dans chaque marché.

“Si votre système de sentiment donne la même réponse dans douze langues, demandez-vous s'il en lit réellement une seule.”

Les analyses de sentiments au repos sont intéressantes ; les analyses de sentiments en mouvement sont précieuses. Nous intégrons les résultats de classification directement dans les systèmes opérationnels qui les exploitent : routage des tickets d'assistance, alertes CRM, listes de suppression marketing pour les clients à risque, tableaux de bord de feuille de route produit pour les chefs de catégorie, et notifications aux équipes de relations publiques lorsque les sujets émergents commencent à monter en flèche. La boucle de rétroaction se referme lorsque les personnes qui agissent sur le signal peuvent également l'annoter, alimentant les étiquettes qui améliorent le modèle suivant.

Les alertes en temps réel sont traitées avec soin. Les fausses alertes érodent rapidement la confiance dans les systèmes d'alerte, nous ajustons donc les seuils en fonction du rapport signal/bruit historique, les lissons avec un fenêtrage approprié et les associons à des intervalles de confiance qui distinguent un véritable pic d'une variation aléatoire. Lorsque les alertes dépendent de sujets émergents — problèmes qui n'existaient pas le mois dernier — nous utilisons des méthodes de clustering en ligne et de détection de sujets pour les faire remonter dès qu'ils atteignent un volume opérationnellement significatif.

Les tableaux de bord sont conçus autour des questions que posent réellement les consommateurs de données, et non autour de ce que le data scientist a trouvé intéressant. Un chef de produit veut voir l'évolution semaine après semaine du sentiment d'aspect pour les produits qu'il gère ; un responsable de centre de contact veut voir la file d'attente des nouveaux tickets négatifs en temps réel ; un directeur de marque veut voir la part de conversation par rapport aux concurrents. Chaque vue est construite à partir du même flux de classification sous-jacent.

Les benchmarks de sentiment publics sont un guide peu fiable pour la performance sur des données commerciales réelles, qui sont plus désordonnées, plus multilingues et plus spécifiques au domaine. Nous mesurons la qualité sur des échantillons représentatifs de vos données réelles, avec des étiquettes collectées auprès des personnes qui statueraient normalement sur les cas ambigus (votre équipe de centre de contact, vos modérateurs, vos chefs de catégorie). La ligne de base résultante est celle par rapport à laquelle toutes les améliorations ultérieures sont testées.

Nous accordons une attention particulière à l'accord inter-annotateurs. Le sentiment est notoirement glissant ; si vos propres experts ne sont pas d'accord sur les étiquettes, aucun modèle ne peut être censé produire des résultats cohérents au-delà de cette limite. Nous mesurons explicitement l'accord, affinons les directives là où il est faible et rapportons la performance du modèle par rapport au plafond que la qualité des étiquettes humaines permet.

Le biais et l'équité sont vérifiés en même temps que la précision. Un modèle de sentiment qui est systématiquement plus dur envers les messages dans une langue, ou envers le contenu d'une cohorte de clients, faussera les analyses en aval d'une manière qui mettra beaucoup de temps à être détectée. Nous testons explicitement ces schémas et recalibrons là où ils apparaissent.

Un engagement typique commence par une découverte sur un échantillon représentatif de vos données textuelles — peut-être trois mois d'avis, de tickets et de mentions sociales — pour caractériser le volume, le mélange linguistique, la distribution des aspects et les décisions opérationnelles que les analyses soutiendront. À partir de là, nous construisons un classificateur initial, l'intégrons dans un flux de travail prioritaire et développons le déploiement à mesure que l'appétit pour le signal augmente. La plupart des clients commencent par un cas d'utilisation unique (typiquement le triage des tickets d'assistance ou la détection des problèmes de produit) et atteignent le déploiement multicanal complet au cours des six à douze mois suivants.