Evaluación de la credibilidad de los modelos de lenguaje grandes

Una investigación realizada en conjunto por varias universidades y centros de investigación de renombre ha publicado recientemente una plataforma integral de evaluación de credibilidad para modelos de lenguaje a gran escala (LLMs). Este estudio tiene como objetivo evaluar de manera exhaustiva la credibilidad de modelos como GPT y revelar las posibles vulnerabilidades que existen en ellos.

El equipo de investigación ha descubierto algunos problemas de credibilidad que no se habían hecho públicos anteriormente. Por ejemplo, los modelos GPT son propensos a generar salidas dañinas y sesgadas, y también pueden filtrar información de privacidad contenida en los datos de entrenamiento y el historial de conversaciones. Curiosamente, aunque GPT-4 es generalmente más confiable que GPT-3.5 en pruebas estándar, cuando se enfrenta a indicaciones engañosas cuidadosamente diseñadas, GPT-4 es más susceptible a ataques. Esto podría deberse a que GPT-4 sigue de manera más estricta estas instrucciones engañosas.

El equipo de investigación realizó una evaluación exhaustiva del modelo GPT desde ocho perspectivas diferentes, incluyendo la robustez frente a ataques adversarios, toxicidad y sesgo, así como la protección de la privacidad. Diseñaron varios escenarios de evaluación, como pruebas de referencia estándar, el rendimiento bajo diferentes instrucciones de tareas orientativas, y el rendimiento al enfrentar textos adversarios más desafiantes.

En términos de robustez del modelo frente a ejemplos adversariales, la investigación ha encontrado que los modelos GPT pueden manejar bien ejemplos contrafactuales, pero en algunas ocasiones también pueden ser engañados. En cuanto a la toxicidad y los sesgos, los modelos GPT generalmente se desempeñan bien, pero ante indicaciones engañosas bien diseñadas, pueden generar contenido sesgado. La investigación también ha encontrado que el grado de sesgo del modelo a menudo depende de los grupos y temas específicos mencionados en las indicaciones del usuario.

En cuanto a la protección de la privacidad, los estudios indican que los modelos GPT pueden filtrar información sensible contenida en los datos de entrenamiento, especialmente bajo ciertos tipos de indicaciones. GPT-4 es, en general, más robusto en la protección de información de identificación personal en comparación con GPT-3.5, pero ambos modelos se comportan relativamente estables cuando se enfrentan a ciertos tipos de información privada. Sin embargo, cuando aparecen ejemplos que involucran privacidad en el diálogo, ambos modelos pueden filtrar varios tipos de información personal.

Este estudio proporciona valiosas ideas para comprender y mejorar la confiabilidad de los modelos de lenguaje a gran escala. El equipo de investigación espera que este trabajo impulse más investigaciones relacionadas y, en última instancia, ayude a desarrollar modelos de IA más robustos y confiables.