如果自动化 AI 研发引发智能爆炸会怎样？| The Foundation for American Innovation
内容摘要
如今，AI 系统已经编写了构建它们的公司内部的大部分代码。随着 AI 研发流程中越来越多的环节被自动化，AI 进展是否可能以“智能爆炸”的方式急剧加速，将数年的进步压缩到数月甚至更短？初步证据表明这有可能。本文评估这些证据，分析智能爆炸的潜在影响，并提出政策应对。AI 系统有望在几年内自动化大部分 AI 研发工作，甚至可能全部。如果这引发智能爆炸，它可能大幅提前带来 AI 的益处，但也带来极端风险：能力增长可能加速到社会难以跟上的程度，人类可能失去对超级智能 AI 系统的控制，国家、公司及政府各部门内部和之间的权力制衡可能被严重侵蚀。尽管这些可能性仍存在很大不确定性，但事关重大，值得进一步认真关注。政策制定者应紧急提高对 AI 研发自动化的可见性，制定引导和约束智能爆炸的方法，并帮助社会为智能爆炸的影响做好准备。
(来源：Thefai)