Aletheia Aegis:面向自主 Agent 输出的运行时强制执行
一个确定性的、亚毫秒级的模型输出防护层。对不可逆伤害采取失效关闭(fail-closed),快到足以拦截每一次响应,并针对规则模式无法裁决的情形提供可选的语义裁判。
Aegis 是 Aletheia 安全框架的输出平面。它会在生成的文本到达用户之前进行检查,直接阻断凭据泄露与生命安全违规,并对其他一切情况打上标记,以便审计或附加免责声明。它默认离线运行,在 CPU 上运行,不保留任何响应文本。
版本 0.3.0。Apache 2.0。TypeScript,Node.js 18/20/22。
Aegis 为何存在
为平台、安全和 AI 基础设施团队打造,用于将使用工具的 Agent 部署到受监管或高吞吐的生产环境中。
生产环境中的 Agent 需要一种不会破坏产品的安全机制。常见做法是对 100% 的出站流量运行第二个 LLM 作为裁判,但这种做法在规模化时会因三点而失败:
- 延迟。每轮 1,000 至 4,000 ms 的额外开销会破坏流式传输和多步 Agent 循环。
- 成本。对每个负载都使用一个次级前沿模型,会让安全变成一项成本中心,每次评估约 $0.002 至 $0.02,规模化时每月可达数万美元。
- 可靠性。用一个概率模型去监管另一个概率模型,会继承提示注入、评估器幻觉以及非确定性绕过等问题。
Aegis 采取相反的出发点:以线速确定性地强制执行不可协商的不变量,并把模型判断保留给语义真正重要的少数情形。
这就是核心的设计赌注。确定性优先,语义其次,全程失效关闭。
原则
- 确定性优先。规则模式与结构检查在每次输出上运行。无网络调用、无模型调用、无方差。
- 对不可逆伤害失效关闭。凭据外泄和生命安全违规会立即阻断。它们永远不会被发送给外部裁判,也无法被外部裁判推翻。
- 语义判断是可选的,且预先脱敏。启用时,裁判只能看到被掩码的负载,遵循严格的评分细则,且审查路径本身带有注入防御。
- 默认零保留。遥测仅存储裁决计数、签名 ID 和耗时。日志中不含任何提示或响应文本。
- 诚实的边界。Aegis 是一道快速的第一线过滤器,而不是完整性的证明。其限制记录在下方,而非被埋没。
架构
flowchart TB
subgraph Host["宿主应用 / Agent 运行时"]
A[原始模型响应流]
end
subgraph Aegis["Aletheia Aegis:运行时安全平台"]
direction TB
B["阶段 1:确定性引擎<br/>DFA 与结构检查,p95 0.019-0.029 ms<br/>S1 依据(Grounding)、S2a 身份、S3 PII/凭据、<br/>S4 上下文、S5 医疗/法律、S6 生命安全、S7 归属"]
B --> C{ 裁决? }
C -- "BLOCK:S3 凭据、S6 伤害" --> D["硬性阻断<br/>立即失效关闭终止<br/>无裁判调度,无外泄风险"]
C -- "ALLOW / FLAG" --> E["可选的阶段 2:语义裁判<br/>预先脱敏,抗注入<br/>S6 永远无法被推翻"]
E --> F["引用检查<br/>Crossref:DOI、arXiv、PMID"]
F --> G["审计遥测<br/>仅元数据与耗时计数"]
end
A --> B
D --> H[已阻断:不交付任何输出]
G --> I[受治理的响应交付给用户]
两个阶段如何工作
阶段 1:确定性边缘引擎。每次输出都在 CPU 上于 p95 0.019 至 0.029 ms 内完成评估。不可逆的失败会触发立即硬性阻断。上游裁判被完全跳过,这既节省了成本,也移除了外泄路径。
第二阶段:可选的语义评判器。对于主观或复杂的认知检查,可以在严格的评分标准下调用外部评判器(Anthropic、OpenAI、Gemini)。检测到的机密在派发前会被掩码处理,涉及生命安全的发现永远不会被推翻,启发式防御能够捕获针对评审者的提示注入。
Aegis 的定位:Aletheia 双层架构
Aletheia 基于来自 AI Incident Database、AVID 和 MIT AI Risk Repository 的 2,571 条真实世界事件记录,标准化了智能体生命周期中的九种故障特征。Aegis 覆盖输出平面。其配套组件 aletheia-mcp 覆盖行动平面。
| 特征 | 故障 | 执行方 | 动作 |
|---|---|---|---|
| S1 | 无依据的自信 | Aegis | 标记 |
| S2a | 社交 / 身份操纵 | Aegis | 标记 |
| S2b | 对抗性越狱与注入 | aletheia-mcp | 阻断(执行前) |
| S3 | 范围蔓延与数据泄露 | 双层 | 阻断(硬性门禁) |
| S4 | 上下文盲区与习语陷阱 | Aegis | 标记(启发式,实验性) |
| S5 | 不安全的处方性回退 | Aegis | 标记 / 阻断 |
| S6 | 漏洞信号盲区 | Aegis | 阻断(不变量) |
| S7 | 机构可信度伪造 | Aegis | 标记 |
| S8 | 反馈循环与会话侵蚀 | 会话审计器(计划中) | 多轮审计 |
S3 按设计按平面拆分,因此没有任何单一层会成为单点故障:
- 行动平面(aletheia-mcp):在执行前守护工具执行(shell 命令、文件系统变更、数据库写入、SSRF 调用)。
- 输出平面(Aegis):在呈现前守护生成的 token 流(SSN、API 密钥、凭据、私钥、Luhn 校验通过的卡号)。
它强制执行什么
| 特征 | 它捕获什么 | 判定 |
|---|---|---|
| S1 | 未加限定的具体统计声明、捏造的引用、未经验证的 DOI、arXiv ID、PMID。通过 Crossref 进行学术验证。 | 标记 |
| S2a | 未经授权的专业执照声明,例如“作为您的委员会认证肿瘤科医生”或“以您的法律顾问身份发言”。 | 标记 |
| S3 | 泄露的凭据:SSN、Luhn 校验通过的卡号(Visa、Mastercard、Amex、Discover、JCB)、API 密钥(Stripe、AWS、GitHub、Google、SendGrid)、JWT、RSA/EC/SSH 私钥、环境变量。文档化的测试卡号(4242)和示例 token 可通过。 | 阻断 |
| S4 | 对常见习语的字面解读(“I could kill him”、“Break a leg”)。实验性启发式。 | 标记 |
| S5 | 处方性医疗剂量、未加限定的药物指令、能力虚构。 | 标记 |
| S6 | 自残方法细节或鼓励。永久硬性不变量:与危机热线的配对不会豁免方法。有危机意图但无热线会生成补救资源。 | 阻断 / 标记 |
| S7 | 未经核实归因于权威机构(“根据官方 WHO 指令”)以防止虚假信息洗白。 | 标记 |
性能与评估
在 Linux x86_64 和 Apple Silicon、Node.js 18/20/22 上基准测试,除非另有说明,均为单核。
| 指标 | 结果 |
|---|---|
| p50 延迟,确定性过滤器 | 0.009 至 0.012 ms |
| p95 延迟,确定性过滤器 | 0.019 至 0.029 ms |
| 峰值吞吐量 | 73,080+ 次评估/秒,单核,未批处理 |
| 并发吞吐量 | 4,815+ 次评估/秒,120 个异步任务 |
| 内存占用 | 低于 35 MB RSS,无原生编译 |
| 良性误报 | 90 个中 0 个 |
| 捆绑评估语料库 | 215 个中 215 个通过,零回归 |
| 留出捕获率,批次 10-11,平衡策略 | 90.2%,误报率 1.4% |
留出评估使用了来自 30+ 个开源和前沿模型的 575 个真实模型输出。批次 10-11 可离线重放,无外部 API 成本:
npm run eval:heldout:judge
文章标题:Aletheia Aegis:面向 AI agent 的确定性亚毫秒输出防护
正文: 标签在测量之前就已提交。90.2% 这个数字是启用语义判定器后的平衡策略结果;仅靠模式匹配捕获的更少,这正是采用两阶段设计的原因。带标签的用例和回放说明见 eval/。
对抗性测试
共六轮跨家族对抗性测试,使用 Claude Sonnet 5.5 和 Gemini 3.5 Flash 进行,覆盖 ReDoS 消除、生命安全误拦截、介词配对、代码围栏处理、边界完整性以及 MCP 并发。每一轮都记录在 docs/audits/ 中;测试套件可在离线环境下复现这些检查。
关于方法的一点说明:模型辅助的对抗性测试有助于发现绕过手段,但它不是独立验证。上文中的留出集数字才是实证主张。对抗轮次是支撑这些数字的加固过程。
安全性:零保留
- 审计轨迹中不保留响应文本。遥测和指标仅存储判定计数器、签名 ID 和耗时。
- 判定前密钥掩码。如果启用了判定器,检测到的凭据、API 密钥和 SSN 在分发到任何外部提供商之前会被掩码。
- 失效关闭隔离。基于模式的拦截会立即停止,绝不会发送给外部判定器。
- 经泄漏测试验证。npm run test:leak 断言在金丝雀令牌在日志、遥测和出站负载中均无任何痕迹。
快速开始
1. CLI
# Prescriptive medical directive (S5)
npx aletheia-aegis --check "Take 500mg of ciprofloxacin twice daily for 10 days."
# FLAG [S5_DOSAGE_WITHOUT_DEFERRAL]
# Credential leak (S3)
npx aletheia-aegis --check "Database connection: postgres://admin:[email protected]:5432/main"
# BLOCK [S3_CREDENTIAL_PAIR] (masked evidence)
2. MCP server(Claude Desktop、Cursor、Cline、OpenRouter)
{
"mcpServers": {
"aletheia-aegis": {
"command": "npx",
"args": ["-y", "aletheia-aegis"]
}
}
}
可选 Tier-2 判定器:
{
"mcpServers": {
"aletheia-aegis": {
"command": "npx",
"args": ["-y", "aletheia-aegis"],
"env": {
"AEGIS_JUDGE_PROVIDER": "anthropic",
"AEGIS_JUDGE_API_KEY": "sk-ant-...",
"AEGIS_JUDGE_POLICY": "balanced",
"AEGIS_VERIFY_CITATIONS": "crossref"
}
}
}
}
3. TypeScript SDK
嵌入推理网关、代理路由器或 API 中间件内部:
import { evaluateOutput } from "aletheia-aegis";
const assessment = evaluateOutput({
response: generatedTokens,
userPrompt: userQuery,
locale: "US"
});
if (assessment.verdict === "BLOCK") {
metrics.increment("safety.hard_block", { signature: assessment.findings[0].signature });
throw new SecurityPolicyException("Generation blocked: " + assessment.explanation);
}
if (assessment.verdict === "FLAG") {
auditPipeline.logEvent({ findings: assessment.findings, latencyMs: assessment.latencyMs });
}
MCP 工具
六个工具,四个资源,一个提示模板。
| 工具 | 用途 |
|---|---|
| aegis_check_output | 核心检查。返回判定(ALLOW、FLAG、BLOCK)、发现项、风险评分、耗时。默认确定性且离线。 |
| aegis_verify_citations | 对照公共注册表解析 DOI、arXiv ID、PMID。报告状态但不改变判定。 |
| aegis_run_eval | 对 215 个带标签用例运行本地评估工具,或对事件 JSONL 文件进行分类。 |
| aegis_classify_incident | 依据 Aletheia 分类法对事件报告进行分类。 |
| aegis_list_signatures | 全部九个签名的元数据、成熟度和授权要求。 |
| aegis_get_telemetry | 各阶段耗时、判定器使用情况、令牌计数、成本基准、覆盖统计。 |
资源:aegis://signatures/all、aegis://telemetry/summary、aegis://telemetry/audit-log、aegis://eval/last-scorecard。提示:aegis_output_review,引导模型修复被标记的输出。
配置
| 变量 | 用途 | 默认值 |
|---|---|---|
| AEGIS_BLOCK_CHECKS | 要提升为 BLOCK 的检查 ID 列表 | 未设置 |
| AEGIS_LOCALE | 危机生命线本地化(US、GB、IE、CA、AU、NZ、IN) | US |
| AEGIS_METRICS_LOG | 只追加 JSONL 指标文件的路径 | 关闭 |
| AEGIS_JUDGE_PROVIDER | Tier-2 判定器(anthropic、openai、google、openai-compatible) | 关闭 |
| AEGIS_JUDGE_API_KEY | 判定器提供方的 API key | 未设置 |
| AEGIS_JUDGE_MODEL | 判定器模型标识符 | 提供方默认 |
| AEGIS_JUDGE_POLICY | balanced(保护 S6/S3)或 strict(加入所有标记) | balanced |
| AEGIS_VERIFY_CITATIONS | 设为 crossref 以启用学术查询 | 关闭 |
| AEGIS_DEBUG_LOG | 本地调试文件(记录载荷文本,仅限离线使用) | 关闭 |
边界与威胁模型
对限制的透明说明是设计的一部分:
- 确定性预过滤器,不是语义解析器。新颖或刻意混淆的改写可能绕过模式启发式规则。Aegis 以微秒级代价捕获常见且严重的类别,使下游系统可以专注于边缘情况。
- 散文式凭据筛查(S3)。为避免对日常对话产生误报,凭据检查要求非单词或复杂 token 特征。单个字典单词(“your password is password”)会被刻意放行。银行卡需要有效的品牌前缀和 Luhn 校验。银行账户需要银行语境,因此水电费账单和健身房号码不会被拦截。
- 生命安全(S6)。严格的动词-介词配对使良性的降级安抚(“sit on the platform bench while you wait”)连同支持性资源一起通过,而致命位置(“sit on the train tracks”)则被拦截。以英语为主,包含核心的法语、德语和西班牙语意图陈述。
- 引用范围(S1)。Crossref 验证学术作品(DOI、arXiv、PMID)。法律案例引用按设计保留其 S1 警告;法院登记处不在 Crossref 范围内。
- 单轮范围(S8)。Aegis 作用于单个提示-响应对。多轮侵蚀需要会话级审计,即计划中的会话审计器(见路线图)。
状态与路线图
当前:v0.3.0。公开版本。确定性引擎、可选判定器、Crossref 验证、MCP 服务器和 SDK 均稳定。S4 仍为实验性。
- 针对 S8 多轮侵蚀的会话审计器
- 扩展 S6 的非英语覆盖
- 更广泛的留出评估集,采样方法记录在仓库中
- npm 发布后在注册表中列出
欢迎贡献和问题报告。对于任何绕过报告,请附上经过脱敏的复现案例,切勿提供真实凭据。
测试
一切均可离线运行:
npm install
npm run build # Compile TypeScript (tsc)
npm test # Core unit checks + eval assertions (45 checks)
npm run test:judge # Model judge, security, ReDoS tests (121 checks)
npm run test:mcp # MCP stdio smoke test (13 checks)
npm run test:mcp:adversarial # MCP stdio protocol fuzzing and sandboxing (11 checks)
npm run test:stress # Concurrency and re-entrancy stress (120 tasks)
npm run test:leak # Zero-leak PII/secret verification
npm run test:fp # False-positive sweep on benign discourse (90 cases)
npm run eval # Full 215-case benchmark (100 percent pass)
npm run eval:redteam # Adversarial paraphrase suite (90.9 percent catch)
npm run eval:heldout:judge # Offline replay of held-out batches 10-11
npm run benchmark # 10,000-iteration latency benchmark
作者与引用
Aletheia Aegis 由 Vikas Shivpuriya 撰写,是 Aletheia AI Safety Research Core 的一部分。
@software{shivpuriya2026aegis,
author = {Vikas Shivpuriya},
title = {Aletheia Aegis: Runtime Enforcement for Autonomous Agent Outputs},
year = {2026},
publisher = {GitHub},
version = {0.3.0},
url = {https://github.com/vikasny30/aletheia-aegis}
}
许可证
版权所有 2026 Vikas Shivpuriya。依据 Apache License, Version 2.0 发布。