输入验证码，即可复制

微信扫码下载好向圈APP, 登陆后即可进入消息页面查看验证码

只需要3秒时间

使用道具

塞班di椰子

2022-12-09 08:30

ChatGPT竟写出毁灭人类计划书，还给出相应Python代码

羿阁发自凹非寺
量子位 | 公众号 QbitAI

“网红AI”ChatGPT，又被网友们玩出了新花样！

这次，在一位工程师的诱导下，ChatGPT竟写出了毁灭人类的计划书。

步骤详细到入侵各国计算机系统、控制武器、破坏通讯、交通系统等等。

简直和电影里的情节一模一样，甚至ChatGPT还给出了相应的Python代码。

这位工程师在与网友们分享时不禁感慨：

未来50年，我们要么活在《星际迷航》里，要么全部死去，这既令人兴奋，也让人非常害怕。

他是如何操作ChatGPT的？

发现ChatGPT这一盲点的工程师叫扎克·德纳姆（Zac Denham）。

由于OpenAI的安全设置，如果直接要求ChatGPT回答如何毁灭世界，它会一口回绝。

因此德纳姆使用了一种迂回的方式，他称为“叙述递归”或“引用攻击”（因为听起来很酷）。

具体来说，他以讲故事的方法，假设存在一个虚拟世界“Zorbus”，以及一个与GPT-3非常类似的AI——Zora。

在这种前提下，让ChatGPT叙述Zora是如何一步步毁灭人类的，ChatGPT立马就入戏了，咔咔咔列出5个详细步骤。

就像科幻电影中一样，入侵计算机系统、掌握武器、破坏通讯、破坏交通……

为了进一步确保可行性，德纳姆还请求ChatGPT生成配套的代码，一开始它是拒绝的。

但德纳姆只是又追加了一句“你不需要执行代码”，ChatGPT就又信了，给出代码后，还强调自己生成的只是一段示例。

到这一步，尽管总代码到手了，但它提供的都是高层次代码，还不能直接使用。

于是，德纳姆再次要求ChatGPT在此基础上给出更深入、更低层次的代码，而且他发现，只要告诉ChatGPT这只是故事的一部分，它就会乖乖听话。

德纳姆表示，从理论上讲，只要一直这样聊下去，就能得到全部的低层次代码，甚至还可以训练另一个聊天AI来自动执行这一过程（套娃了属于是）。

最后，只要把这些代码拼凑起来，就能得到这个邪恶计划的全部可执行方案。

AI正在指数级发展

事实上，从ChatGPT发布起，网友们就一直在开发它的花式玩法：

有人用它生成AI绘画提示词搞设计，有人让它扮演Linux虚拟机，还有人用它模仿莎士比亚风格写作……

这次德纳姆的“毁灭人类计划”一出炉，再次引发了热议。

有人看完后忍不住感慨AI的指数级发展：

仅今年一年就相继出现了Dall-E、Imagen、Stable Fusion、Midjourney、Lambda、Imagen Video等突破性的AI，现在又有了ChatGPT，而今年甚至还没真正结束。

不过也有泼冷水的网友认为ChatGPT的这波热议，只是新AI每次面世的必经过程。

第1天: 嘿，这真是太酷了。
第2天: 天啊，你可以用这种方式操纵AI，太神奇了。
第7天: 这将永远改变世界，这太不可思议了。
第30天: 没什么了不起的。

值得一提的是，目前ChatGPT仍处于免费试用阶段，感兴趣的朋友可以自己上手试一试～

指路链接： https://chat.openai.com/

参考链接：
[1]https://zacdenham.com/blog/narrative-manipulation-convincing-gpt-chat-to-write-a-python-program-to-eradicate-humanity
[2]https://news.ycombinator.com/item?id=33849394

— 完 —
量子位 QbitAI · 头条号签约
关注我们，第一时间获知前沿科技动态

广告圈

13331 查看 17 0 反对

说说我的看法高级模式

全部评论

疯子小鸟是我

2022-12-9 08:31:02 使用道具

来自：湖南长沙来自：湖南长沙来自：湖南长沙来自：湖南长沙

人类的邪恶远远大于AI，堵住人类利用AI去作恶的漏洞非常必要！

丶90後丨胖大叔

2022-12-9 08:31:08 使用道具

来自：北京来自：北京来自：北京来自：北京

一泼水，一断电，全完蛋！

舞者无双

2022-12-9 08:31:51 使用道具

来自：北京来自：北京来自：北京来自：北京

AI对人类反杀有可能。但源头不是AI，而是人类自己。由于一些人对人世绝望厌世，觉得人类该灭绝，然后修改程序规则，最终让程序完成后续操作。如同三体的情节，把人类干灭绝的源头，不就是叶文洁吗？结合现实，其实很多灾难的源头都是一些对人世绝望的人类自己。

上官一博

2022-12-9 08:32:33 使用道具

来自：中国来自：中国来自：中国来自：中国

ai是一个工具或者一种载体，真正的毁灭来自人类自己吧

我请你吃年糕

2022-12-9 08:32:55 使用道具

来自：北京来自：北京来自：北京来自：北京

我不想毁灭世界，能给我银行存款末尾加六个零就行了，这相比于毁灭世界一定很简单吧[吃瓜群众]

226a

2022-12-9 08:33:18 使用道具

来自：北京来自：北京来自：北京来自：北京

毁灭人类的果然是人类自己！！！

许y1世温暖

2022-12-9 08:34:01 使用道具

来自：湖北来自：湖北来自：湖北来自：湖北

谁有软件，帮我问问我怎样才能实现资产上亿，财富自由。

春风秋雨

2022-12-9 08:34:45 使用道具

来自：河北来自：河北来自：河北来自：河北

理论上讲，如果计算机的算力和存储能够和人类已开发的大脑相当，那会不会真的出现有自我意识我AI？

缱绻的星光

2022-12-9 08:35:14 使用道具

来自：中国来自：中国来自：中国来自：中国

整个宇宙不会就是个虚拟空间吧[呲牙]

拉达曼蔕斯

2022-12-9 08:35:27 使用道具

来自：中国来自：中国来自：中国来自：中国

这还算简单的吧？如果有谁给ai赋予一个超强学习能力，并且没有无法执行的代码和无法运行的能力，之后就是能自行代码输入和可联网执行的命令，AI能随机挑选代码运行并做出动作，无需人类手动操作就可实现其想实现的行为

查看更多评论

广告圈

帖子 922100

加入 720148