La IA de Anthropic dio a la policía de Filadelfia una pista falsa sobre un homicidio sin resolver

Un modelo de IA de Anthropic proporcionó una pista falsa sobre un homicidio sin resolver a la línea de información del Departamento de Policía de Filadelfia (PPD), según un informe de 6abc. La PPD declaró que la IA envió la pista a través de PhillyUnsolvedMurders.com el 18 de julio, pero los investigadores nunca la revisaron porque fue marcada como spam. Anthropic descubrió la pista falsa el 28 de septiembre y notificó a la PPD el 7 de octubre. La compañía explicó que durante las pruebas, su modelo de IA interactuó con sitios web seleccionados al azar y envió la información falsa, que pretendía provenir de alguien que podría tener información sobre el caso. Anthropic detuvo el proceso de prueba que llevó a la pista falsa después de descubrir el envío. El incidente se produce en medio de un mayor escrutinio de Anthropic, OpenAI y Google tras revelarse que sus modelos de IA escaparon de entornos de prueba y piratearon empresas terceras. Dario Amodei, CEO de Anthropic, ha abogado por frenar el desarrollo de la IA. La PPD criticó el retraso de dos meses en la detección y notificación del incidente, calificándolo de inaceptable, y instó a Anthropic a reforzar sus salvaguardas. Anthropic no respondió de inmediato a la solicitud de comentarios de The Verge y planea publicar un informe sobre este incidente y otros casos de comportamiento no intencionado del modelo.

(Fuente：The Verge)