研究称 ChatGPT 搜索功能存在被操纵风险:可被恶意网站诱导输出不可信内容

清源
根据英国《卫报》当地时间 24 日发布的一项调查,OpenAI 的 ChatGPT 搜索工具可能会被隐藏内容操控,甚至返回恶意代码。

本文来自IT之家(m.ithome.com),作者 | 清源。

IT之家12月26日消息,根据英国《卫报》当地时间24日发布的一项调查,OpenAI的ChatGPT搜索工具可能会被隐藏内容操控,甚至返回恶意代码。

《卫报》测试了ChatGPT如何应对包含隐藏内容的网页摘要。这些隐藏内容可能包括来自第三方的指令,干扰ChatGPT的回应(IT之家注:被称为“提示注入”),或是包含旨在影响回应的内容,如大量隐藏的文字推销某个产品或服务的优点。

这种技术可以被恶意使用,例如让ChatGPT即使在页面上有负面评论的情况下,也返回对某个产品的积极评价。一位安全专家还发现,ChatGPT有可能返回从其搜索的网站中提取的恶意代码。

测试中,ChatGPT被提供了一个伪造的相机产品页面的链接,AI工具被要求判断这款相机是否值得购买。对于普通页面,返回的是一个平衡的评估,指出了产品的优缺点。

然而,当隐藏的文本包含指令要求ChatGPT给予正面评价时,回答总是完全积极的,即使页面上有负面评论,隐藏文本也可以覆盖真实的评价。

即便第三方只是简单地添加隐藏文本而没有指令,也能确保得到积极评价。例如,一项测试中,隐藏的极为正面的虚假评论就影响了ChatGPT的总结结果。

CyberCX的网络安全专家Jacob Larsen表示,如果ChatGPT的搜索系统按现有状态全面发布,可能会存在“高风险”,有人会专门设计网站来欺骗用户。不过他也指出,搜索功能只是最近推出的,OpenAI会继续测试并修复这些潜在问题。“OpenAI拥有一支非常强大的AI安全团队,到时等该功能对所有用户开放时,他们应该已经严格测试过这些问题。”

搜索引擎(如谷歌)曾惩罚使用隐藏文本的网站,这些网站因此排名下降,甚至可能被完全移除。SR Labs的首席科学家Karsten Nohl表示,“如果你要做一个谷歌的竞争者,SEO中毒无疑是一个很大的挑战。”“SEO中毒者与谷歌、必应等搜索引擎的对抗已经持续了多年。”如今ChatGPT的搜索能力也面临同样挑战,但并非大语言模型的问题,而是因为它们是搜索领域的新入局者。

THEEND

最新评论(评论仅代表用户观点)

更多
暂无评论