Análisis de Sentimientos

La promesa original del análisis de sentimientos —una única puntuación positiva o negativa por mensaje— ha envejecido mal. Una reseña negativa que se queja de la entrega es operacionalmente diferente de una que se queja de la calidad, y ambas son diferentes de una queja sobre el precio. Agrupadas como una puntuación de polaridad, las tres son invisibles. El análisis de sentimientos basado en aspectos disuelve el agrupamiento: cada mensaje se descompone en los aspectos discutidos y el sentimiento expresado sobre cada uno, de modo que los análisis resultantes se alinean con la forma en que se organiza el negocio.

Tratamos los esquemas de aspectos como artefactos vivos. Las categorías que importan en el lanzamiento —servicio, precio, calidad, entrega— rápidamente necesitan ser complementadas con otras más finas a medida que los datos revelan patrones que el esquema original no puede expresar. Nuestras implementaciones incluyen procesos explícitos para evolucionar la taxonomía de aspectos sin invalidar los informes históricos, de modo que los análisis sigan siendo comparables a lo largo del tiempo.

Junto con los aspectos, rastreamos la intención (queja, consulta, cumplido, sugerencia, señal de abandono), la emoción cuando es operacionalmente útil, y las entidades nombradas explícitas (productos, ubicaciones, competidores). La combinación convierte un flujo de texto en un registro de eventos estructurado al que otros sistemas pueden suscribirse.

• Detección de aspectos y sentimiento a nivel de aspecto
• Clasificación de intenciones (abandono, queja, consulta)
• Reconocimiento de entidades nombradas para productos y marcas
• Clasificación consciente del sarcasmo para canales de reseñas
• Puntuación multilingüe con modelos conscientes del idioma
• Fragmentos de explicación para la confianza del analista

Las marcas que operan en varios idiomas a menudo terminan con sistemas de sentimiento paralelos para cada mercado, puntuados con esquemas ligeramente diferentes, nunca del todo comparables. Nosotros construimos sistemas multilingües únicos con esquemas y comportamientos de puntuación consistentes en todos los idiomas, de modo que un panel regional signifique lo mismo que uno global y viceversa.

Nuestros modelos combinan arquitecturas de transformadores multilingües con adaptadores específicos para la tarea, ajustados con datos representativos de cada idioma de interés. Cuando un idioma en particular tiene pocos datos de entrenamiento, utilizamos entrenamiento aumentado por traducción, transferencia entre idiomas y etiquetado activo para llevar la calidad a una paridad aceptable. Fundamentalmente, la evaluación se realiza por idioma, no en un promedio que pueda ocultar un rendimiento mediocre detrás de uno fuerte.

Los fenómenos específicos de cada idioma —la variación dialectal árabe, los sustantivos compuestos alemanes, los niveles de cortesía japoneses, el sarcasmo inglés— se abordan mediante la recopilación de datos específicos y ajustes del modelo, en lugar de mejoras genéricas. El resultado son análisis multilingües que resisten el escrutinio en cada mercado.

“Si su sistema de sentimiento da la misma respuesta en doce idiomas, pregúntese si está entendiendo alguno de ellos.”

Los análisis de sentimientos en reposo son interesantes; los análisis de sentimientos en movimiento son valiosos. Integramos la salida de la clasificación directamente en los sistemas operativos que actúan sobre ella: enrutamiento de tickets de soporte, alertas de CRM, listas de supresión de marketing para clientes en riesgo, paneles de control de planes de productos para gerentes de categoría y notificaciones de equipos de relaciones públicas cuando los temas emergentes comienzan a dispararse. El ciclo de retroalimentación se cierra cuando las personas que actúan sobre la señal también pueden anotarla, alimentando las etiquetas que mejoran el siguiente modelo.

Las alertas en tiempo real se tratan con cuidado. Las falsas alarmas erosionan rápidamente la confianza en los sistemas de alerta, por lo que ajustamos los umbrales basándonos en la relación señal-ruido histórica, los suavizamos con un adecuado ventaneo, y los combinamos con intervalos de confianza que distinguen un pico genuino de una variación aleatoria. Cuando las alertas dependen de temas emergentes —problemas que no existían el mes pasado—, utilizamos métodos de agrupación en línea y detección de temas para sacarlos a la luz tan pronto como alcanzan un volumen operacionalmente significativo.

Los paneles de control están diseñados en torno a las preguntas que realmente hacen los consumidores de los datos, no en torno a lo que el científico de datos encontró interesante. Un gerente de producto quiere ver el movimiento semana a semana en el sentimiento de aspectos para los productos que posee; un jefe de centro de contacto quiere ver la cola de tickets recién negativos en tiempo real; un director de marca quiere ver el nivel de conversación en comparación con los competidores. Cada vista se construye a partir del mismo flujo de clasificación subyacente.

Los puntos de referencia públicos de sentimiento son una guía poco fiable para el rendimiento en datos empresariales reales, que son más confusos, más multilingües y más específicos del dominio. Medimos la calidad en muestras representativas de sus datos reales, con etiquetas recopiladas de las personas que normalmente juzgarían casos ambiguos (su equipo de centro de contacto, sus moderadores, sus gerentes de categoría). La línea base resultante es aquella contra la cual se prueban todas las mejoras posteriores.

Prestamos especial atención al acuerdo entre anotadores. El sentimiento es notoriamente resbaladizo; si sus propios expertos no están de acuerdo entre sí en las etiquetas, no se puede esperar que ningún modelo produzca una salida consistente más allá de ese límite. Medimos el acuerdo explícitamente, refinamos las directrices cuando es deficiente e informamos el rendimiento del modelo en función del techo que permite la calidad de la etiqueta humana.

La imparcialidad y la equidad se verifican junto con la precisión. Un modelo de sentimiento que es sistemáticamente más duro sobre los mensajes en un idioma, o sobre el contenido de un grupo de clientes, distorsionará los análisis posteriores de maneras que tardarán mucho en detectarse. Probamos explícitamente estos patrones y recalibramos donde aparecen.

Un compromiso típico comienza con un descubrimiento de una muestra representativa de sus datos de texto —quizás tres meses de reseñas, tickets y menciones en redes sociales— para caracterizar el volumen, la mezcla de idiomas, la distribución de aspectos y las decisiones operativas que los análisis respaldarán. A partir de ahí, construimos un clasificador inicial, lo integramos en un flujo de trabajo prioritario y expandimos la implementación a medida que crece el apetito por la señal. La mayoría de los clientes comienzan con un único caso de uso (típicamente clasificación de tickets de soporte o detección de problemas de productos) y alcanzan la implementación multicanal completa en los siguientes seis a doce meses.