Sahara AI 🔆|2026年08月28日 13:18
AI记住你的信息越多,一个错误就可能跟随你更久。
事实证明,如果一个助手错误地记录了截止日期、偏好、财务细节或项目决策,它可能会在未来的对话中继续使用这些错误信息。与一次性的‘幻觉’不同,这种错误会成为系统‘认为’它了解你的部分内容。
一项新的预印本研究通过污染仅1.2%的代理记忆库测试了这个问题。答案准确率从85%下降到了30%。
这些错误记忆看起来像普通事实。例如,有一条只是将用户的Spotify播放列表数量从20改成了15。一种提示注入筛选器捕捉到了83.2%的间接注入,但对360条被污染的记忆无能为力。
这就是保护代理记忆的难点所在。恶意指令通常看起来很可疑,但错误陈述可能看起来完全正常。
来源追溯无法证明记忆是真实的,但它可以保留信息的来源、是谁引入的,以及为什么代理信任它。
随着AI助手记住我们生活的更多细节,纠正它们所知道的内容将和扩展它们能记住的内容一样重要。
分享至:
热门快讯
APP下载
X
Telegram
复制链接