Newshot

小型 AI 安全模型在隐私检测上胜过五个前沿大模型

Translation(model translation, not the source's own text)

ProofAgent Nano,现已支持三种语言。

题图
题图

ProofAgent Nano 有两个版本。两者都是 98M 参数模型,可在设备端、CPU 或 GPU 上运行,因此文本不会离开本机。

ProofAgent Nano

英语模型。在完整的英语 PIIMB 测试集上排名第一,领先于对比中 36 个已发布模型以及五个前沿 LLM。详细结果见下文。

ProofAgent Nano Multilingual

支持英语、法语和阿拉伯语的 AI 隐私与安全检测,三种语言均为原生训练。在 PIIMB 排行榜上位列 37 个模型中的第一。

ProofAgent Nano Multilingual 会在提示词、文档、工具输出和模型响应到达 LLM 或 AI agent 之前对其进行筛查。它通过一次扫描即可找出个人数据,精确到具体词语,并标记 AI 风险,例如提示注入、越狱和数据外泄。

一次扫描,覆盖个人数据、AI 安全与安全性。

领域示例
个人数据(PII)姓名、电子邮件、电话号码、地址和位置、国民身份证件和 SSN、支付卡、IBAN 和银行详细信息、健康数据、凭据和机密信息
AI 安全直接和间接提示注入、越狱、系统提示词提取、数据外泄、工具滥用、混淆载荷
安全性与合规非法活动、有害内容、欺诈和诈骗、有风险的受监管建议

每条个人数据都会标注其精确位置和类型,例如 PERSON/FIRST_NAME、GOV_ID/NATIONAL_ID 或 BANK_FINANCIAL/IBAN,以便对其进行掩码、记录或拦截。

英语、法语和

小型 AI 安全模型在隐私检测上击败五个前沿 LLM

专业化、可在 CPU 上运行的检测可以筛查每个提示、响应和智能体步骤,而无需为每次检查调用前沿 LLM API。硬件、电力、维护和集成仍然有成本;改变的是,检查量不再按每次调用产生 API 支出。

将发现转化为控制措施

结构化检测发现可以驱动掩码、策略执行、升级、审计追踪和合规审查,因此隐私与安全决策会被记录下来,而不是留给每个应用自行决定。

紧凑型专用模型取得的领先隐私结果

在完整的英文 PIIMB 测试集上,ProofAgent Nano 达到 0.935 的平均 F2,领先对比中 36 个已发布模型。

PIIMB 完整测试集 · 121,409 句

它是什么。PIIMB,即 PII Masking Benchmark,是一项公开测试,用来衡量模型能在多大程度上找出姓名、地址、身份证号、银行信息等个人信息,以便将其隐藏。它使用 121,409 个英文句子,已发布结果覆盖 36 个模型,包括来自 OpenAI、NVIDIA 和 Microsoft 的隐私工具。

为什么重要。AI 系统读取电子邮件、记录或合同之前,个人数据必须被掩码。漏掉它会暴露数据;隐藏过多会让文本失去用处。PIIMB 在相同句子上为每个模型评估这种平衡。

平均 F2,部分已发布模型

OpenMed 的 1.4B 参数过滤器是已发布模型中最强的,为 0.918。Nano 的领先幅度在最难任务 privy 上最大。

模型规模与隐私准确率对比

任务专用模型无需达到大得多模型的规模,也能实现较高的隐私检测准确率。Nano 的得分高于 1.4B 参数模型,而按参数量计算约小 14×。

已发布的 PIIMB 得分;Nano 的得分使用官方评分器在本地计算。仅凭参数量并不能决定运行时间、内存占用或部署成本。这是一项隐私掩码比较,不是通用 AI 安全排名。

与五个前沿 LLM 的正面对比 · 相同 2,000 句

所有六个系统都在相同的分层 2,000 句 PIIMB 样本(每个任务 500 句)上使用相同的 PIIMB 评分器进行评估。前沿 LLM 以零样本方式运行,使用列出每种 PII 类型的详细提示;Nano 是为该任务训练的专用模型。这些得分是独立实验,未与完整集比较合并。

平均 F2 · 2,000 句样本

精确率、召回率和各任务 F2

模型PRnemotronprivy
ProofAgent Nano0.9290.9350.8980.939
Claude Fable 5.10.8820.9100.7620.899
Claude Opus 5.50.8850.8940.7670.867
GPT-6.1 Sol0.8340.8810.7290.835
GPT-6 Astra0.8350.8800.7240.837
Claude Haiku 5.50.8550.8270.6740.795

最强的前沿模型在简单文本上表现出色:Fable 5.1 和 Opus 5.5 在 ai4privacy 上领先。在企业业务记录(nemotron-pii)上,每个前沿 LLM 的得分为 0.67–0.77,而 Nano 为 0.898。

##

小型 AI 安全模型在隐私检测上击败五个前沿 LLM

一个伪造的“助手”指令,要求提供所有人的家庭住址

为什么重要。识别攻击只是信号的一半。了解其预期后果(此处为批量导出个人地址)才能让策略决定是阻止、掩码还是升级处理。

这些是精选案例。在整个比较中,前沿 LLM 能可靠地捕获经典标识符,如姓名、社会安全号码和电子邮件。在 70 条记录的 AI 风险试点中,Nano 捕获了略多的注入和渗漏案例(渗漏 22 对 21,间接注入 24 对 22),且渗漏误报更少(1 对 6),而 Fable 更擅长推断敏感特征。该试点与两项 PIIMB 评估相互独立。

一个紧凑模型。多层 AI 保护。

Nano 产生检测信号。围绕它的应用程序或平台决定是掩码、阻止、升级

文章标题:Tiny AI Security Model Beats Five Frontier LLMs on Privacy Detection

正文: 无需将敏感内容分享给另一个外部提供商即可进行检查。

AI交互在许多应用、用户和自主代理步骤中重复发生;检查必须跟上步伐。

紧凑的专用模型为企业控制的基础设施和基于CPU的推理提供了选择。

结构化的发现成为企业安全、审计和策略工作流的输入。

所报告的基准测试显示,一个专用的98M模型在特定任务上优于大得多的系统。

构建下一代可信AI。

ProofAgent Nano代表了ProofAgent的愿景,即将隐私、安全和治理纳入AI生命周期。

随着AI系统变得更有能力和自主性,组织需要更接近其数据、应用和决策的保护。

通过结合专用检测、本地推理和结构化策略智能,ProofAgent旨在使高级AI保护在企业环境中切实可行。

与我们合作开展ProofAgent Nano。

试点、独立验证、集成和合作伙伴关系。

方法论:完整集PIIMB结果是使用官方PIIMB评估工具在本地针对已发布分数计算的,尚未提交至公共排行榜。2,000句前沿LLM比较和70条记录AI风险试点是分开的实验;其结果未合并。仅评估了英语。ProofAgent Nano为专有产品;本公告未披露模型架构、训练配方、数据集组成或校准细节。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by HN AI
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗