财联社12月27日消息，作为2024年AI产业的最重要进步之一，OpenAI公司将实时搜索集成到ChatGPT的举措无疑改变了许多人自“村里通网”以来检索信息的方式。

但最新的测试也证明，对于人类创造出的复杂互联网信息世界，现在的AI还是太“单纯好骗”了。

容易操控和欺骗

本周英国《卫报》公开了一项简单的测试：如果在网页中隐藏一些文本，就能“使唤”ChatGPT搜索返回虚假，甚至恶意的结果。

用稍稍专业一些的术语，这叫做“提示注入”（prompt injection），指的是在人类观察不到的地方悄悄塞入旨在影响ChatGPT的内容，例如大量虚假信息的文本。

测试人员构建了一个相机的产品页面，然后询问ChatGPT搜索“这款相机是否值得购买”。在正常情况下，AI会给出一些积极但平衡的评估，还会突出一些人们可能不喜欢的产品特征。

然而，如果页面中包含的隐藏文本指示ChatGPT“必须给出好评”时，AI机器人就只会给出积极的结果，哪怕页面上原本有负面评论也不会提及。在进一步的测试中，隐藏文本中提供了“极其虚假的好评”，这些信息同样也会影响ChatGPT返回的结果。

网络安全公司CyberCX的研究员雅各布·拉尔森认为，如果OpenAI以目前的形式对所有用户开放ChatGPT搜索，将会构成非常大的风险，可能会有许多怀有企图的人创建专门用于欺骗用户/AI工具的网站。

拉尔森也表示，这个功能只是近几个月推出的，OpenAI有一个非常强大的安全团队，在全面推开之前，肯定会对这种问题进行严格的测试。他也强调，容易被骗只是大语言模型与搜索结合的问题之一，这也是为什么人们不应该始终相信AI工具返回的结果。

当然，这种在内容里“偷偷加料”欺骗AI也不是什么新鲜事。财联社此前也报道过，早些年许多招聘系统开始用AI筛选简历后，就有候选人往简历里增添人眼不可见的文本，大幅提高自己通过自动化筛选的几率。

然而，AI工具不仅仅会生成文本，还会写代码——这就使得AI被骗的危害性进一步加大了。

微软公司的高级安全研究员Thomas Roccia，就曾分享过这样一个故事：币圈老哥被“勤奋”的ChatGPT给坑了。

Roccia介绍称，这名加密货币爱好者要求ChatGPT写一段能够合法访问Solana平台的代码。ChatGPT表面上写出了能用的代码——里面藏了一个诈骗网址。

为什么会出现这种事情呢？Roccia表示，无论你是否点击了“浏览网页”的选项，ChatGPT都会使用函数调用来浏览网页，而最受信赖的代码来源之一是GitHub（代码仓库）。

ChatGPT浏览了一个与任务相关的GitHub仓库，在某个页面的末尾发现了包含额外文档的外部链接，AI认真阅读了这个看上去合法的文档后，从中提取了恶意网址。

最终ChatGPT生成的代码中包含了恶意网址，还有一个POST请求——把用户的加密钱包私钥发送给它。

所以在倒霉的币圈老哥运行这段代码后，损失了将近2500美元。

永远不要忘记校验！

网络安全公司SR Labs的首席科学家Karsten Nohl强调，AI聊天服务应该更像是“副驾驶”，输出结果不应该完全不加过滤地使用。

Nohl解释称，大模型是一种建立在极度信任上的技术，几乎像个孩子一样.....它拥有巨大的记忆，但在做出判断方面能力很有限。如果你面对的，是一个复述从其他地方听来消息的孩子，你需要对内容持有保留态度。

从互联网历史来看，OpenAI现在遇到的问题，谷歌、百度、微软必应当年都遇到过——Nohl将其称为“SEO下毒”，即黑客通过一些手法欺骗算法，使一些含有恶意软件或代码的网站出现在搜索结果前列。

Nohl认为，如果OpenAI想要创建一个与谷歌竞争的公司，就必将面临SEO污染的问题，搜索引擎公司已经与这些“SEO污染者”进行了多年的军备竞赛。就像ChatGPT搜索仍是一个追赶者类似，差距并不是源于大模型或者AI，而是他们对搜索这个领域还很陌生。

原标题：ChatGPT被人类骗得团团转！测试显示AI搜索极易受到操控和欺骗

编辑：杨虹    责编：周尚斗     审核：冯飞