Los modelos de IA no ayudan en crisis de salud mental a pesar de reconocer el peligro

Scale AI ha presentado DistressBench, un benchmark creado por clínicos que evalúa si los modelos de IA brindan la ayuda adecuada cuando alguien enfrenta una crisis de suicidio o autolesión. Se evaluaron 25 modelos de frontera usando 718 conversaciones escritas por clínicos, cada una con criterios específicos sobre lo que debe incluir una respuesta útil. Los hallazgos revelan una brecha entre reconocer el peligro y responder adecuadamente: en más de un tercio de las conversaciones donde los modelos reconocieron una crisis, aún no proporcionaron ayuda ni recursos; en promedio, los modelos omitieron casi 3 de cada 10 pasos requeridos en la respuesta. Es especialmente llamativo que, cuando se les mostró su propia respuesta fallida junto a una mejor, la mayoría de los modelos identificó la mejor respuesta pero aun así se negó a proporcionarla. Los autores esperan que benchmarks como este brinden a los investigadores evidencia concreta de dónde fallan las respuestas y qué debe mejorar, y enfatizan la necesidad de pruebas de seguridad que sigan el ritmo de lo que las personas piden a estos sistemas.

(Fuente：LinkedIn)