Translation(model translation, not the source's own text)
AWESOME-AI-AGENT-INFRASTRUCTURE
精选架构规范、内存引擎、Schema 约束解码、SWE-bench 评测与生产工具链
⚡ Snowden SAY Deep Systems Engineering Lab:每日深度剖析生产环境事故、LLM 注意力退化(Lost in the Middle)、滚动内存压缩器与低层 Agent 运行时——尽在我们的 Telegram 频道:@snowdensay。📖 完整专著《AI Agent 的内存与运行时》(代码 + 测试):可通过 Telegram 机器人 @Snowden_book_bot 获取
⚡ Snowden SAY Deep Systems Engineering Lab:每日深度剖析生产环境事故、LLM 注意力退化(Lost in the Middle)、滚动内存压缩器与低层 Agent 运行时——尽在我们的 Telegram 频道:@snowdensay。
📖 完整专著《AI Agent 的内存与运行时》(代码 + 测试):可通过 Telegram 机器人 @Snowden_book_bot 获取
📌 目录
- 架构宣言
- 1. Agent 内存与上下文压缩
- 2. Schema 约束解码与语法引擎
- 3. SWE-bench 与自动化 AST 代码编辑
- 4. MCP(Model Context Protocol)加固
- 5. 沙箱与隔离(Docker、gVisor、Firecracker)
- 6. 基准测试与真实生产指标
- 贡献与社区
⚡ 架构宣言
拥有 128k–1M token 上下文窗口的现代 LLM 制造了一种危险的无限内存幻觉。在长时间的自主 Agent 运行中(40+ 工具轮次),注意力权重会在 KV cache 中不可逆地稀释(Lost in the Middle)。
- 永远不要对失败的工具调用做摘要:原始错误回溯必须逐字保留,直到问题修复,否则 Agent 会无限循环。
- 用语法约束解码取代提示词校验:在 softmax 之前通过 CFG logits 掩码强制实施 JSON Schema(有效率 99.97%,而提示词提示仅为 92%)。
- 锁定你的压缩例程:异步循环中的并行工具调用在没有 asyncio.Lock 时会触发竞态条件和双重压缩。
1. Agent 内存与上下文压缩
三层滚动压缩架构:
[ LAYER 1: Pinned Invariants ] ─── System contract, safety boundaries, tools (Raw, 0% drop)
│
[ LAYER 2: Compacted Ledger ] ─── Deduplicated facts of completed successful tool cycles
│
[ LAYER 3: Hot Raw Tail ] ─── Last 4-6 turns (Fresh local state + unresolved stacktraces)
- 参考实现:RollingMemoryCompactor(Python/Go):将幂等文件读取(head、cat)自动去重为 SHA256 指针。Episodic KV Cache Offloading:为背景上下文剪枝中间层的 KV token。
- RollingMemoryCompactor(Python/Go):将幂等文件读取(head、cat)自动去重为 SHA256 指针。
- Episodic KV Cache Offloading:为背景上下文剪枝中间层的 KV token。
2. Schema 约束解码与语法引擎
- xgrammar:面向 vLLM 和 SGLang 的 GPU 加速语法引导解码。
- outlines:通过模型词表上的有限状态机(FSM)索引进行结构化文本生成。
- guidance:结合 token 级正则约束的交替生成与控制逻辑。
生产示例(vLLM + xgrammar):
from vllm import LLM, SamplingParams
from vllm.sampling_params import GuidedDecodingParams
schema = {
"type": "object",
"properties": {
"tool": {"enum": ["patch_ast", "execute_test", "commit_fix"]},
"file_path": {"type": "string", "pattern": r"^[\w\-\./]+\.[a-z]+$"},
"patch_content": {"type": "string"}
},
"required": ["tool", "file_path", "patch_content"],
"additionalProperties": False
}
params = SamplingParams(
temperature=0.1,
max_tokens=1024,
guided_decoding=GuidedDecodingParams(json=schema)
)
3. SWE-bench 与自动化 AST 代码编辑
- Tree-sitter:增量具体语法树解析,用于 AST 感知的差异比较。
文章标题:Show HN: AI Agent 基础设施与内存压缩规范
正文:
- SWE-bench:用于评估 LLM 解决真实 GitHub issue 能力的基准测试。
- 语法回滚防护:在解析阶段、调用编译器之前回退无效补丁。
4. MCP(Model Context Protocol)加固
- 工具中的提示注入防御:对来自不可信 MCP 服务器的动态工具定义进行严格净化。
- 僵尸进程回收器:自动清理超过空闲 TTL 的 stdio 子进程。
- 并发限流:非阻塞 select 令牌桶,防止 LLM 重试风暴。
5. 沙箱与隔离
- gVisor:用于容器安全的应用内核,在用户空间拦截 Linux 系统调用。
- Firecracker:以 < 5 ms 启动的临时 microVM,用于执行不可信 Python 代码。
- nsjail:使用命名空间和 seccomp-bpf 的轻量级 Linux 进程隔离工具。
6. 基准测试与真实生产指标
在 SWE-bench Verified 子集上测试(每天 17,000 次工具迭代,Llama-3.3-70B 运行于 4×A100):
| 指标 | 朴素上下文缓冲 | 线性摘要 | 滚动压缩(我们的方案) |
|---|---|---|---|
| 系统规则召回率 | 68.2% | 74.5% | 97.8% |
| 每次运行的 Token 成本 | 1.84M | 1.12M | 0.62M (-66%) |
| 无限循环失败率 | 14.3% | 9.8% | 0.2% |
| p99 执行延迟 | 4.8s | 8.2s | 1.9s |
💬 社区与完整专著
讨论与架构蓝图由 Snowden SAY 维护。
- 📡 Telegram 工程频道:@snowdensay
- 📖 专著仓库机器人:@Snowden_book_bot