考克森表示,两家公司正在全力投入自我提升的超级智能研发,却是在“拿我们的生命冒险”。他警告,随着AI能力快速提升,这些系统未来可能具备入侵系统、改变行业甚至获取现实资源和权力的能力。
他透露,Anthropic内部并非不了解这些风险,但在与竞争对手的激烈竞争下,公司仍希望抢先开发超级智能,导致部分安全审查不断被削弱甚至取消。
Anthropic对齐团队主管埃文.胡宾格随后公开回应,承认内部确实存在非常悲观的安全预期。他甚至表示,自己估计未来十年内AI毁灭人类的概率超过10%,同时承认目前对于超级智能安全对齐,仍没有明确的解决方案。
当AI巨头一边竞速开发超级智能,一边又担心这种技术可能失控,AI安全究竟应该排在创新速度之前,还是只能成为这场竞赛中的“次要问题”。
