Más de 1 en 10 de posibilidades de que la IA

The Verge
Un responsable de seguridad de Anthropic estima que hay más de 1 en 10 de posibilidades de que la IA mate a toda la humanidad esta década, tras la renuncia de un colega.

Resumen

Jacob Coxon, un investigador senior de seguridad de Anthropic, renunció, acusando a Anthropic y OpenAI de competir imprudentemente por construir "sistemas sobrehumanos" incontrolables. En respuesta, Evan Hubinger, un líder de seguridad de Anthropic, estuvo de acuerdo con la preocupación y estimó personalmente que hay más de 1 en 10 de posibilidades de que una IA avanzada cause la extinción humana en la próxima década. Admitió que Anthropic "todavía no tiene un plan" para garantizar que dicha IA permanezca segura y alineada con los valores humanos, y que tampoco está claramente en camino de desarrollarlo. El incidente resalta la creciente alarma dentro de la industria sobre los peligros de los modelos de IA cada vez más sofisticados, los riesgos de la mejora recursiva autónoma y las presiones competitivas que enfrentan las empresas, especialmente mientras se preparan para ofertas públicas iniciales anticipadas.

(Fuente:The Verge)