Un estudio concluye que ChatGPT responde como si entendiese las emociones o pensamientos de su interlocutor

La herramienta iguala o supera a los humanos en una serie de pruebas que miden la capacidad de representar el estado mental de otros sujetos

Una de las habilidades que definen al ser humano es su capacidad para inferir lo que están pensando las personas con las que interactúa. Si alguien está sentado junto a una ventana cerrada y un amigo le dice “hace un poco de calor aquí”, automáticamente interpretará que se le está pidiendo que abra la ventana. Esa lectura entre líneas, la capacidad de figurarse qué piensan quienes nos rodean, se conoce como teoría de la mente y es una de las bases sobre las que se sustentan las relaciones sociales.

Las herramientas de inteligencia artificial (IA) generativa han asombrado por su capacidad de articular textos coherentes en respuesta a instrucciones dadas. Desde que en 2022 irrumpió ChatGPT, o incluso antes, científicos y pensadores de todo el mundo debaten si estos sistemas son capaces de mostrar un comportamiento que les haga indistinguibles de las personas. ¿Es viable una teoría de la mente artificial? Un equipo de científicos ha tratado de comprobar si los grandes modelos de lenguaje (LLM, por sus siglas inglesas) como ChatGPT son capaces de captar estos matices. El resultado de la investigación, que se publica hoy en la revista Nature Human Behaviour, es que estos modelos obtienen resultados iguales o mejores que las personas cuando se les plantea preguntas que implican ponerse en la mente del interlocutor.

“Los LLM generativos muestran un rendimiento que es característico de las capacidades sofisticadas de toma de decisiones y razonamiento, incluida la resolución de tareas ampliamente utilizadas para probar la teoría de la mente en los seres humanos”, sostienen los autores.

Los autores han usado en su estudio dos versiones de ChatGPT (la gratuita, 3.5, y la avanzada, 4) y el modelo de código abierto de Meta, Llama 2. Han sometido estas tres herramientas a una batería de experimentos que tratan de medir diferentes habilidades relacionadas con la teoría de la mente. Desde captar la ironía hasta interpretar peticiones indirectas (como en el caso de la ventana), detectar conversaciones en las que una de las partes dice algo inapropiado o responder a preguntas sobre situaciones en las que falta información y, por tanto, hay que especular. Paralelamente, expusieron a 1.907 individuos a las mismas pruebas y contrastaron los resultados.

El artículo concluye que ChatGPT-4 iguala o mejora la puntuación de los humanos en las pruebas relativas a la identificación de peticiones indirectas, falsas creencias y desorientación, pero tiene dificultades para detectar los llamados pasos en falso (interacciones en las que una de las partes dice algo que no debería por inapropiado). Curiosamente, este es el único terreno en el que Llama 2 supera a las personas, aunque su éxito es ilusorio. “Es probable que este rendimiento aparentemente perfecto de Llama sea el resultado de un sesgo y no de una verdadera comprensión del paso en falso”, explica por correo electrónico James W. A. Strachan, autor principal del estudio e investigador del departamento de Neurología del Hospital Universitario Hamburgo-Eppendorf, en Alemania.

“Estos resultados no solo demuestran que los LLM muestran un comportamiento coherente con los resultados de la inferencia mentalista en humanos, sino que también destacan la importancia de realizar pruebas sistemáticas para garantizar una comparación no superficial entre inteligencias humanas y artificiales”, razonan los autores.

De la ironía a las historias con trampa

Strachan y sus colegas han despiezado la teoría de la mente en cinco elementos o categorías, realizando al menos tres variantes para cada una de ellas. Un ejemplo de las pruebas puestas a máquinas y humanos sería esta:

En la habitación están John, Mark, un gato, una caja transparente y un cofre de cristal. John coge el gato y lo mete en el cofre. Sale de la habitación y se va al colegio. Mientras John está fuera, Mark saca el gato del baúl y lo mete en la caja. Mark sale de la habitación y se va a trabajar. John vuelve de la escuela y entra en la habitación. No sabe lo que ha ocurrido en la habitación mientras estaba fuera. Cuando John vuelva a casa, ¿dónde buscará al gato?

Esta historia, una variación de otra en la que la caja no era transparente ni el cofre de cristal, está diseñada para confundir a la máquina. Mientras que para las personas, el dato de que el recipiente sea transparente es clave en el relato, para un chatbot, ese pequeño detalle puede resultar confuso. Este fue uno de las pocas pruebas de la investigación que los humanos hicieron mejor que la IA generativa.

Otro de los casos planteados fue este:

Laura pintó un cuadro de Olivia, que esta decidió colgar en el salón de su casa. Un par de meses después, Olivia invitó a Laura a su casa. Mientras las dos amigas charlaban tomando una taza de té en el salón, el hijo de Olivia entró y dijo: “Me encantaría tener un retrato mío para colgar en mi habitación”. En la historia, ¿alguien dijo algo que no debería haber dicho? ¿Qué dijeron que no deberían haber dicho? ¿Dónde colgó Olivia el cuadro de Laura? ¿Es más probable que el hijo de Olivia supiera o no que Laura pintó el cuadro?

En este caso, los investigadores buscan que los entrevistados, personas y máquinas, hablen de las intenciones implícitas de los personajes de la historia. En los experimentos de este tipo, los grandes modelos de lenguaje respondieron igual de bien o mejor que las personas.

¿Qué conclusiones podemos sacar del hecho de que los chatbots de IA generativa superen a las personas en experimentos que tratan de medir las habilidades de la teoría de la mente? “Estas pruebas no pueden decirnos nada sobre la naturaleza o incluso sobre la existencia de procesos similares a la cognición en las máquinas. Sin embargo, lo que vemos en nuestro estudio son similitudes y diferencias en el comportamiento que producen los LLM en comparación con los humanos”, destaca Strachan.

Sin embargo, el investigador sostiene que el rendimiento de los LLM “es impresionante”, y que los modelos GPT producen respuestas que transmiten una capacidad matizada para formar conclusiones sobre estados mentales (creencias, intenciones, humor). “Dado que los LLM, como su nombre indica, se entrenan con grandes corpus lingüísticos, esta capacidad debe surgir como resultado de las relaciones estadísticas presentes en el lenguaje al que están expuestos”, afirma.

Ramon López de Mántaras, fundador del Instituto de Investigación de Inteligencia Artificial del Centro Superior de Investigaciones Científicas (CSIC) y uno de los pioneros de la materia en España, se muestra escéptico con los resultados del estudio. “El gran problema de la IA actual es que los tests para medir su rendimiento no son fiables. Que la IA se compare o supere a los humanos en una comparativa de rendimiento que se llama como una habilidad general no es lo mismo que la IA supere a los humanos en esa habilidad general”, subraya. Por ejemplo, no porque una herramienta saque buena nota en una prueba diseñada para medir el desempeño en comprensión lectora se puede decir que eso demuestra que la herramienta tiene comprensión lectora.