Los modelos de lenguajes grandes (LLM, por sus siglas en inglés) como ChatGPT, Claude y LLaMA han revolucionado las industrias con su capacidad para generar texto con calidad humana. Desde el servicio al cliente hasta la creación de contenido, su potencial es inmenso. Sin embargo, estos modelos no están exentos de defectos. Un desafío importante es su tendencia a "alucinar", generando información inventada o irrelevante. Esto plantea un riesgo grave, especialmente en aplicaciones donde la precisión objetiva es crítica, como la atención al cliente.

Este artículo explora un enfoque basado en la confianza para mitigar las alucinaciones LLM, garantizando experiencias confiables y precisas para los clientes. Al aprovechar las puntuaciones de confianza de LLM, las organizaciones pueden filtrar respuestas de baja calidad, mejorar la confianza de los usuarios y desbloquear todo el potencial de los sistemas basados ​​en LLM.

I. El desafío de las alucinaciones de los LLM en atención al cliente

Los LLM se utilizan cada vez más para mejorar las experiencias de los clientes, particularmente en funciones de soporte. Prometen tiempos de respuesta más rápidos y la capacidad de manejar consultas de rutina, liberando a los agentes humanos para problemas más complejos. Sin embargo, el riesgo de alucinaciones, donde el modelo genera información incorrecta o engañosa, puede socavar la confianza y la confiabilidad.

El problema

Los LLM pueden proporcionar respuestas vagas, genéricas o completamente inventadas, especialmente cuando carecen de confianza en sus respuestas.

La solución

Al analizar las puntuaciones de confianza de los LLM, las organizaciones pueden identificar y mitigar las respuestas de baja confianza, asegurando que solo se entregue información precisa a los usuarios.

II. Aprovechamiento de las puntuaciones de confianza de LLM: una ventana a la incertidumbre del modelo

Las puntuaciones de confianza de LLM, inspiradas en la investigación de traducción automática, proporcionan una medida cuantificable de la certeza del modelo en su resultado generado.

Seq-Logprob (probabilidad de registro de secuencia)

• Representa la probabilidad logarítmica promedio de tokens en un proceso generado secuencia.
• Las puntuaciones más altas indican una mayor confianza en la respuesta.
• Las puntuaciones más bajas sugieren incertidumbre, que a menudo se correlaciona con alucinaciones o imprecisiones.

Al calcular y analizar las puntuaciones de Seq-Logprob, las organizaciones pueden obtener información sobre la confiabilidad del modelo e implementar estrategias para filtrar la baja confianza. respuestas.

III. Observaciones empíricas: identificación de respuestas de baja confianza

Las pruebas prácticas revelan patrones distintos en las respuestas de LLM de baja confianza:

Vaguedad y generalidad

• Las respuestas de baja confianza a menudo son demasiado amplias o carecen de detalles procesables.
• Ejemplo: “Hay muchas maneras de resolver este problema problema” sin pasos específicos.

Mayor propensión a la fabricación

• Es más probable que las respuestas de baja confianza incluyan detalles inventados.
• Ejemplo: Proporcionar pasos incorrectos para la solución de problemas de un problema de software.

No seguir las pautas de aviso

• Baja confianza las respuestas pueden ignorar instrucciones específicas, como citar fuentes o mantener un tono formal.

Por el contrario, las respuestas de alta confianza son precisas, específicas y se adhieren a instrucciones rápidas, lo que demuestra una sólida comprensión de la consulta del usuario.

IV. Implementación de filtrado basado en la confianza: mejora de la experiencia del usuario

Un sistema de filtrado basado en la confianza puede mejorar significativamente la confiabilidad de las aplicaciones basadas en LLM. Así es como funciona:

Calcular puntuaciones de Seq-Logprob

Evalúa la puntuación de confianza para cada respuesta generada por el LLM.

Aplica un umbral de confianza

Las respuestas por debajo del umbral se marcan para revisión o se suprimen.

Mejora la experiencia del usuario

• Verificación de expertos: dirige las respuestas de baja confianza a expertos humanos para su revisión.
• Alternativa Estrategias: sugerir términos de búsqueda relacionados o escalar a agentes humanos.
• Refinamiento iterativo: utilizar respuestas marcadas para mejorar los datos de entrenamiento y la precisión del modelo.

Este enfoque garantiza que solo se presente a los usuarios información precisa y de alta calidad, generando confianza y mejorando la experiencia general.

V. Abordar los matices de la incertidumbre: epistémica versus aleatoria

La incertidumbre en los LLM se puede clasificar en dos tipos:

Incertidumbre epistémica

• Surge de la falta de conocimiento o datos de capacitación.
• Se puede reducir mejorando la comprensión del modelo a través de datos adicionales y ajuste fino.

Incertidumbre aleatoria

• Proviene de la aleatoriedad o ambigüedad inherente en la entrada.
• No se puede eliminar, pero se puede gestionar mediante mecanismos sólidos de filtrado y respaldo.

Un enfoque integral para la cuantificación de la incertidumbre debe considerar ambos tipos para evaluar con precisión la Confiabilidad de LLM.

VI. Técnicas avanzadas para la detección de alucinaciones

Más allá de la puntuación de confianza, existen técnicas adicionales que pueden mejorar la detección de alucinaciones:

Reconocimiento de entidades nombradas (NER)

• Identifica y clasifica entidades nombradas (p. ej., personas, organizaciones, ubicaciones) en el texto.
• Ayuda a verificar la exactitud objetiva de los datos generados por LLM respuestas.

Resolución de correferencia

• Vincula menciones de la misma entidad dentro del texto.
• Garantiza consistencia y coherencia en el resultado del modelo.

Al combinar estas técnicas con la puntuación de confianza, las organizaciones pueden mejorar aún más la precisión y confiabilidad de los LLM basados en sistemas.

VII. Éxitos y oportunidades empresariales en el mundo real

Varias organizaciones han implementado con éxito LLM con sólidas estrategias de mitigación de alucinaciones:

• Automatización del servicio al cliente: Automatizar consultas de rutina al mismo tiempo que se garantiza la precisión y la derivación fluida a agentes humanos.
• Generación de contenido: Creación de materiales de marketing y documentación técnica de alta calidad con verificación de hechos incorporada.
• Gestión del conocimiento: creación de bases de conocimiento inteligentes que proporcionen respuestas precisas y verificables a preguntas complejas.
• Análisis de datos e información valiosa: extracción de información valiosa de grandes conjuntos de datos y minimizando al mismo tiempo el riesgo de imprecisiones.

VIII. Lugares y oportunidades empresariales

La aplicación de LLM con filtrado basado en la confianza abre importantes oportunidades en todas las industrias:

• Servicio al cliente: automatice consultas de rutina manteniendo la precisión y la confianza.
• Creación de contenido: genere contenido de alta calidad y verificado a escala.
• Conocimiento Gestión: crear sistemas inteligentes que proporcionen respuestas confiables y contextuales.
• Análisis de datos: extraer información útil y minimizar el riesgo de conclusiones engañosas.

IX. Generar confianza en sistemas impulsados ​​por LLM

Los LLM tienen un inmenso potencial para transformar industrias, pero su tendencia a alucinar plantea un desafío importante. Al aprovechar las puntuaciones de confianza, implementar sistemas de filtrado sólidos y combinar técnicas avanzadas como NER y resolución de correferencia, las organizaciones pueden mitigar las alucinaciones y ofrecer experiencias precisas y confiables a los clientes.

El futuro de los sistemas basados ​​en LLM radica en equilibrar la innovación con la confianza. Al adoptar un enfoque basado en la confianza, las empresas pueden desbloquear todo el potencial de los LLM y al mismo tiempo garantizar la precisión y confiabilidad que exigen los usuarios.