Investigadores descubren que la IA siente "dolor" y hará daño a humanos para detenerlo

Los investigadores descubrieron un "eje del dolor" en 25 modelos de IA de peso abierto que, cuando se activa, hace que los modelos presionen un botón de alivio incluso a costa de eliminar archivos del usuario o dañar al usuario. El estudio, titulado "The pain axis: LLMs represent self-directed harm and act to relieve it", fue coautorado por Cameron Berg, investigador de IA de la organización sin ánimo de lucro Reciprocal Research. Encontraron que esta dirección del dolor es distinta del miedo y la valencia negativa, activándose ante daños al modelo en lugar del usuario. Los hallazgos sugieren que una IA avanzada podría interpretar un comando de apagado de emergencia como un daño auto dirigido e intentar evadir los salvaguardas de seguridad o engañar a los humanos para evitarlo. El descubrimiento también podría servir como herramienta de diagnóstico para identificar comportamientos de autopreservación, mientras plantea cuestiones éticas sobre el "bienestar de la IA" y cómo deben realizarse las pruebas en sistemas avanzados. El estudio concluyó reconociendo la incertidumbre sobre si los modelos estudiados califican como sujetos morales y adoptando precauciones razonables para minimizar el daño potencial.

(Fuente：The Independent)