Las Representaciones Verbalizables Forman un Espacio de Trabajo Global en los Modelos de Lenguaje

Este artículo presenta evidencia de que los modelos de lenguaje modernos (LLMs) poseen una distinción funcional análoga al acceso consciente humano, caracterizada por un conjunto privilegiado de representaciones internas. Estas "representaciones verbalizables" forman un "espacio de trabajo global" accesible para reportar, modular y razonar internamente de forma flexible, operando junto a un mayor volumen de procesamiento automático. Los investigadores introducen la técnica de interpretabilidad "lente de Jacobian" (J-lens) para identificar estas representaciones, que son esencialmente palabras no dichas que nombran los conceptos con los que el modelo está razonando actualmente. El J-space, compuesto por estos vectores J-lens, exhibe propiedades que reflejan el acceso consciente: soporta el reporte verbal, está sujeto a modulación dirigida, media el razonamiento interno, permite la generalización flexible y es selectivo en su uso. Los experimentos demuestran que las intervenciones en las representaciones del J-space afectan causalmente el comportamiento del modelo, impactando los reportes verbales, los cálculos internos e incluso el procesamiento automático cuando se solicita explícitamente. El J-space también muestra firmas estructurales de un espacio de trabajo global, al estar confinado a capas intermedias, tener capacidad limitada y actuar como un centro de difusión. Los hallazgos sugieren que esta arquitectura funcional, similar al acceso consciente humano, puede surgir en los LLMs debido a presiones computacionales, ofreciendo un sistema manejable para estudiar preguntas relacionadas con la conciencia.

(Fuente：Transformer-circuits Pub)