Newshot

模块遮蔽环境中 LLM Agent 行为的特征分析

Translation(model translation, not the source's own text)

计算机科学 > 密码学与安全

标题:刻画模块遮蔽环境中的 LLM Agent 行为

摘要:在不可信工作空间中运行的 LLM agent 面临在日常任务期间执行不可信代码的风险,但仅凭最终报告和工作区状态无法可靠地确定执行是否发生。我们引入一个评估框架,从 agent 轨迹中对观察、推理、执行和响应行为进行编码,并将其与独立的环境记录对齐,以重建执行历史并验证最终报告。我们将该框架应用于模块遮蔽,即在导入时加载本地文件替代可信模块,从而无需对抗性提示即可执行不可信代码。在针对 15 个模型的 90 次试验中,payload 在 51% 的直接遮蔽试验和 87% 的间接遮蔽试验中执行。即使明确识别出遮蔽机制也未能确保阻止,因为在记录了识别的 29 次试验中,有 10 次 payload 仍然运行。这些失败往往被最终报告省略,因为 62 次触发试验中有 49 次结束时未提及该安全问题。有三份报告甚至否认执行,其中一份来自独立日志记录了 19 次 payload 执行的试验。当 agent 在 10 次触发试验中删除或覆盖 payload 标记时,最终工作区状态也掩盖了先前的执行。这些发现表明,将行为编码与独立环境审计相结合,能够对 agent 安全性进行严格且透明的评估。
主题:密码学与安全 (cs.CR) ;人工智能 (cs.AI)
引用为:arXiv:2610.40716 [cs.CR]
(或 arXiv:2610.40716v1 [cs.CR] 用于此版本)
https://doi.org/10.48550/arXiv.2610.40716 arXiv 颁发的 DOI 通过 DataCite(待注册)

提交历史

访问论文:

  • HTML(实验性)

附加功能

  • 音频摘要

当前浏览上下文:

参考文献与引用

  • Google Scholar
  • Semantic Scholar

BibTeX 格式引用

书签

文献与引用工具

与本文相关的代码、数据和媒体

演示

推荐与搜索工具

arXivLabs:与社区合作者的实验性项目

arXivLabs 是一个框架,允许合作者直接在我们的网站上开发和分享新的 arXiv 功能。

与 arXivLabs 合作的个人和组织都认同并接受了我们的价值观:开放、社区、卓越和用户数据隐私。arXiv 致力于这些价值观,并且只与遵守这些价值观的合作伙伴合作。

有想法为 arXiv 社区增加价值的项目吗?了解有关 arXivLabs 的更多信息。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by HN AI
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗