Newshot

基于前一个 token 预测的 LLM 反演用于提示词重建

Translation(model translation, not the source's own text)

计算机科学 > 计算与语言

标题:PTP:基于前一个词元预测的 LLM 逆转,用于近乎精确的提示词重建

摘要:大型语言模型(LLMs)通过自回归采样下一个词元来生成文本。这本质上导致提示词与响应之间形成多对多映射,使得从观测输出推断提示词的任务变得复杂。先前关于 LLM 逆转的工作将提示词恢复视为语义重建任务。它们依赖于在大型外部数据集上微调预训练的序列到序列模型——并且需要访问模型权重或 logits——以生成语义上合理的提示词。相比之下,我们提出了一种在黑盒设置下逆转给定 LLM 的功能性方法,无需辅助工具。我们完全从头开始,在由目标 LLM 自身合成生成的数据上训练一个显式的逆向语言模型。类似于前向的下一个词元预测,我们的逆向模型使用前一个词元预测进行训练,在前向和逆向过程之间建立生成性链接,从而实现忠实的提示词重建。此外,它通过采样自然支持多样化的提示词重建,所有此类提示词在前向目标 LLM 下引发相似的响应。我们的方法跨数据集具有泛化性,并在从不同 LLM 生成的响应中重建提示词方面展现出可迁移性。此外,在基于词元的提示词和响应重建评估指标集上,我们的方法优于先前工作。
主题:计算与语言 (cs.CL);机器学习 (cs.LG)
引用为:arXiv:2607.29378 [cs.CL]
(或 arXiv:2607.29378v1 [cs.CL] 用于此版本)
https://doi.org/10.48550/arXiv.2607.29378 arXiv 颁发的 DOI 通过 DataCite

提交历史

访问论文:

  • HTML(实验性)

当前浏览上下文:

参考文献与引用

  • Google Scholar
  • Semantic Scholar

BibTeX 格式引用

书签

文献与引用工具

与本文相关的代码、数据和媒体

演示

推荐与搜索工具

arXivLabs:与社区合作者的实验性项目

arXivLabs 是一个框架,允许合作者直接在我们的网站上开发和分享新的 arXiv 功能。

与 arXivLabs 合作的个人和组织都认同并接受了我们的价值观:开放、社区、卓越和用户数据隐私。arXiv 致力于这些价值观,并仅与遵守这些价值观的合作伙伴合作。

有想法为 arXiv 社区增加价值的项目吗?了解更多关于 arXivLabs 的信息。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by HN AI
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗