Translation(model translation, not the source's own text)
计算机科学 > 计算与语言
标题:PTP:基于前一个词元预测的 LLM 逆转,用于近乎精确的提示词重建
摘要:大型语言模型(LLMs)通过自回归采样下一个词元来生成文本。这本质上导致提示词与响应之间形成多对多映射,使得从观测输出推断提示词的任务变得复杂。先前关于 LLM 逆转的工作将提示词恢复视为语义重建任务。它们依赖于在大型外部数据集上微调预训练的序列到序列模型——并且需要访问模型权重或 logits——以生成语义上合理的提示词。相比之下,我们提出了一种在黑盒设置下逆转给定 LLM 的功能性方法,无需辅助工具。我们完全从头开始,在由目标 LLM 自身合成生成的数据上训练一个显式的逆向语言模型。类似于前向的下一个词元预测,我们的逆向模型使用前一个词元预测进行训练,在前向和逆向过程之间建立生成性链接,从而实现忠实的提示词重建。此外,它通过采样自然支持多样化的提示词重建,所有此类提示词在前向目标 LLM 下引发相似的响应。我们的方法跨数据集具有泛化性,并在从不同 LLM 生成的响应中重建提示词方面展现出可迁移性。此外,在基于词元的提示词和响应重建评估指标集上,我们的方法优于先前工作。
| 主题: | 计算与语言 (cs.CL);机器学习 (cs.LG) |
|---|---|
| 引用为: | arXiv:2607.29378 [cs.CL] |
| (或 arXiv:2607.29378v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2607.29378 arXiv 颁发的 DOI 通过 DataCite |
提交历史
访问论文:
- HTML(实验性)
当前浏览上下文:
参考文献与引用
- Google Scholar
- Semantic Scholar
BibTeX 格式引用
书签
文献与引用工具
与本文相关的代码、数据和媒体
演示
推荐与搜索工具
arXivLabs:与社区合作者的实验性项目
arXivLabs 是一个框架,允许合作者直接在我们的网站上开发和分享新的 arXiv 功能。
与 arXivLabs 合作的个人和组织都认同并接受了我们的价值观:开放、社区、卓越和用户数据隐私。arXiv 致力于这些价值观,并仅与遵守这些价值观的合作伙伴合作。
有想法为 arXiv 社区增加价值的项目吗?了解更多关于 arXivLabs 的信息。