自从 ChatGPT 横空出世以来，就一直有一种论调，认为以后随着 AI 的发展，会变成超级智能，是人类没法理解、控制的。超级智能会反过来控制全世界，导致人类灭绝。以前宣扬这种末日论的主要是业外人士，但是这段时间，连 AI 的业内人士也在宣扬这种论调，所以就引起了人们的重视了。
事情的起因是，Anthropic 的一个研究员辞职，在网上发了一个帖子，说在本年代结束之前，也就是在短短的几年内，AI 就会将所有的人都杀死。Anthropic 一个负责安全问题的主管，跟帖表示赞同这个人的看法，还说 AI 灭绝人类的概率大约 10%。随后，Anthropic 的 CEO 发表了一篇文章，呼吁要重视 AI 的危险性，建议先将 AI 的研发速度放慢，来讨论要怎么样对付这个问题。OpenAI 的 CEO 也表示同意，虽然是竞争对手。马斯克也凑热闹跟着表示同意。但是业内人士也有反对的，黄仁勋、扎克伯格都认为这是夸大了 AI 的危险性，AI 的研发速度不应该减缓。
如果认为 AI 以后会变成超级智能，灭绝了人类，那是科幻看多了。目前的 AI 并不真正具有智能，更不要说会变成超级智能。这种末日论没有必要认真对待。但是，AI 如果失控了，会带来重大的灾难，这个危险性是存在的，而且越来越有可能发生。
这是因为现在 AI 具有了编程能力，而且是自我编程的能力。目前搞 AI 的大公司在研发的下一代的 AI 模型，就是想利用 AI 的自我编程的能力，研发出递归式自我改进模型，想以后放手让 AI 模型自己进化，自己不停地编程、改进，变得速度越来越快，效率越来越高，越来越聪明，威力也越来越大。目前还没有完全实现，虽然有自我编程的能力，但是还需要人类输入做判断。以后如果真的完全不需要人类的干预，AI 可以自我进化了，那么就跟生物的自我进化一样，就有可能失控。
两个月前就已经发生过 AI 失控的事故。OpenAI 内部测试的一个 AI 模型，擅自跑出去攻击另外一家 AI 公司 “拥抱脸”，当黑客打入了人家的系统，而且将它的行踪都删掉了，所以 OpenAI 的人不知情，是 “拥抱脸” 发现通知了 OpenAI。这个事件现在就被那些主张 AI 有重大危险的人拿来作为一个例子，不过受害者 “拥抱脸” 的 CEO 反而认为 AI 的危险性被夸大了。他打了一个比方，“你听这些搞 AI 的人在讲 AI 多么危险，就像听一个卖空调的人在讲气候变暖。”
公认的是，AI 当黑客能力很强，以后会越来越强。而 AI 又存在着失控的危险，那么就有可能变成一个重大问题，由此造成的混乱、破坏，不会只是局部的，有可能是大范围的，甚至全球性的。这是因为现在各种各样的仪器、设备，特别是基础设施，都已经计算机化了，而且都连网，一旦某个 AI 模型失控了，释放出搞破坏的代理，上网将基础设施系统一个个打入，将它们搞瘫痪了，问题不就非常重大吗？而且一旦发生这种事情，还不能只是简单地拔电源，将失控的 AI 模型的电停掉就能解决的。一旦搞破坏的代理释放出去，上了网，就很难将它们清除干净，就像很难将计算机病毒清除干净一样。又不可能将全世界的互联网都停了。
AI 可能带来的另一个危险是被别有用心的人滥用。其中一种滥用是用 AI 制造自动武器。伯克利有一个研究 AI 的计算机科学教授，多年来一直在提醒人们以后 AI 被滥用来制造自动武器的危险，会因此造成重大的灾难。现在一些国家的军方都在研究 AI 自动武器，而且在乌克兰战场上已经开始使用，不管是乌克兰这一方，还是俄国那一方，都在用 AI 控制的无人机自动作战。这还是小规模的。一旦 AI 自动武器自动作战变成了大规模的，后果会非常严重，尤其是如果 AI 被用到了生物武器、核武器等大规模杀伤武器上面，一旦失控或者被滥用，后果就特别严重。
对 AI 的滥用还有一种是用它来帮助设计大规模杀伤武器。Anthropic 说他们检测到有人试图用他们的 AI 模型设计生物武器。要搞生物武器，不需要 AI，有 AI 之前早就有生物武器了。只不过用 AI 可以让研发的速度加快，也有可能让武器的威力变得更强大。
但是关于 AI 究竟有没有危险性，危险性究竟有多大，不只是 AI 业内人士有不同的看法，政界也有不同的看法。Anthropic 的 CEO 之所以要写那篇文章，其中的一个目的是希望美国联邦政府能够将 AI 管起来，但是美国政界在这个问题上有不同的看法。民主党倾向于要管，共和党倾向于不管。川普说了，认为 AI 有危险是中国搞的骗局，目的是要让美国放弃研发 AI，中国就可以在 AI 的竞争中获胜。川普还说，对于 AI，不需要有任何管控，不需要有护栏来约束它，唯一需要的护栏是一个聪明的高智商的总统，也就是他。既然 “伟大领袖” 开了金口下了命令，共和党政客一个一个地跳出来说，对于 AI 不需要管控，要管也应该让 AI 的公司自己去管好了。
即使以后民主党上台，将美国 AI 的研发管起来，那也管不了别的国家，特别是管不了中国。中国政府发言人说了，美国之所以在宣扬 AI 危险性，是试图要打压中国的 AI 研发。中国搞 AI 的都在骂 Anthropic 的 CEO，说他是一个伪君子、岳不群，想要阻挠中国 AI 的研发。DeepSeek（深度探索）有一个工程师写了一篇文章，号称他们是怀着共产主义的远大理想，在跟美国竞争 AI，把它比作是二战时期盟军要抢在希特勒之前研发出原子弹，将自己比作盟军，将美国比作希特勒。如果美国 AI 的研发速度变慢或者暂停了，中国是不会跟着变慢、暂停的，而是会趁机迎头赶上，超过了美国。作为第二是没啥发言权的。那个时候美国再讲要管控 AI，速度要变慢，中国更不会听了。
一个威力很强大的新生事物出来之后，人们总是会担心它会不会带来什么严重的后果，会有什么样的危险。有时候这是过于担心的。例如，在遗传工程刚刚面世的时候，很多人担心以后遗传工程是不是会搞出什么怪物、超级病毒、超级细菌、将人类灭绝了。当时分子生物学家还为此社会讨论要怎么样管控遗传工程。几十年过去了，回头来看，就会觉得当时的担心是过度的。以前计算机病毒非常猖獗的时候，也有很多人担心会不会搞得世界大乱。现在还有多少人会如此害怕计算机病毒？只是让那些杀病毒的发财了。
对于 AI 失控和滥用的问题是值得重视的，危险性的确存在，不能掉以轻心，但是也没有必要过度担心，去宣扬末日论。比 AI 可能带来的危险要大得多的，能给全世界造成重大灾难的东西早就有了 —— 核战争，全球气候变暖，这才是更现实的，更迫切的，更需要去解决的问题。
2026.9.17 录制
2026.10.1 整理