AudioHijack 与传统的提示注入攻击不同，因为它不会操纵用户对 AI 所说的内容。相反，它会改变音频信号本身，将隐藏的指令嵌入到人类听不到的声音中。研究人员表示，这使得攻击更难防御，因为它绕过了旨在检测可疑文本提示的保护措施。
研究人员在 13 个开源 AI 语音模型上测试了 AudioHijack，发现它可以让它们拒绝请求、传播虚假信息、插入有害链接、改变个性或执行用户从未要求的操作，包括网络搜索、文件下载和包含个人数据的电子邮件。这些攻击还针对使用类似技术的 Microsoft 和 Mistral 的商业语音人工智能系统。
研究称：“之前对生成模型的许多攻击都要求攻击者完全控制最终的音频输入和给予模型的原始指令，本质上是充当用户。” “在这里，攻击者仅操纵模型正在处理的音频数据，这使得在其他人使用模型时攻击模型成为可能。”根据研究，可能的传递方式包括在线视频、音乐剪辑、语音笔记或上传到人工智能转录服务的 Zoom 通话音频。该团队还表示，未发表的后续工作在实时人工智能语音聊天中展示了类似的攻击。
研究人员表示，监控模型的内部注意力机制是他们测试的最有效的防御措施。然而，他们还发现，了解防御的攻击者可以降低操纵强度，同时保持攻击的大部分有效性。
“这些单点防御很难抵御我们的攻击，因为我们发现这些模型很难区分正常用户意图和我们对手的攻击，”陈说。