Newshot

Show HN:AI Agent 基础设施与记忆压缩规范

Translation(model translation, not the source's own text)

AWESOME-AI-AGENT-INFRASTRUCTURE

题图
题图

精选架构规范、内存引擎、Schema 约束解码、SWE-bench 评测与生产工具链

⚡ Snowden SAY Deep Systems Engineering Lab:每日深度剖析生产环境事故、LLM 注意力退化(Lost in the Middle)、滚动内存压缩器与低层 Agent 运行时——尽在我们的 Telegram 频道:@snowdensay。📖 完整专著《AI Agent 的内存与运行时》(代码 + 测试):可通过 Telegram 机器人 @Snowden_book_bot 获取

⚡ Snowden SAY Deep Systems Engineering Lab:每日深度剖析生产环境事故、LLM 注意力退化(Lost in the Middle)、滚动内存压缩器与低层 Agent 运行时——尽在我们的 Telegram 频道:@snowdensay。

📖 完整专著《AI Agent 的内存与运行时》(代码 + 测试):可通过 Telegram 机器人 @Snowden_book_bot 获取

📌 目录

  • 架构宣言
  • 1. Agent 内存与上下文压缩
  • 2. Schema 约束解码与语法引擎
  • 3. SWE-bench 与自动化 AST 代码编辑
  • 4. MCP(Model Context Protocol)加固
  • 5. 沙箱与隔离(Docker、gVisor、Firecracker)
  • 6. 基准测试与真实生产指标
  • 贡献与社区

⚡ 架构宣言

拥有 128k–1M token 上下文窗口的现代 LLM 制造了一种危险的无限内存幻觉。在长时间的自主 Agent 运行中(40+ 工具轮次),注意力权重会在 KV cache 中不可逆地稀释(Lost in the Middle)。

  • 永远不要对失败的工具调用做摘要:原始错误回溯必须逐字保留,直到问题修复,否则 Agent 会无限循环。
  • 用语法约束解码取代提示词校验:在 softmax 之前通过 CFG logits 掩码强制实施 JSON Schema(有效率 99.97%,而提示词提示仅为 92%)。
  • 锁定你的压缩例程:异步循环中的并行工具调用在没有 asyncio.Lock 时会触发竞态条件和双重压缩。

1. Agent 内存与上下文压缩

三层滚动压缩架构:


        [ LAYER 1: Pinned Invariants ] ─── System contract, safety boundaries, tools (Raw, 0% drop)
           │
[ LAYER 2: Compacted Ledger ]  ─── Deduplicated facts of completed successful tool cycles
           │
[ LAYER 3: Hot Raw Tail ]      ─── Last 4-6 turns (Fresh local state + unresolved stacktraces)
      
  • 参考实现:RollingMemoryCompactor(Python/Go):将幂等文件读取(head、cat)自动去重为 SHA256 指针。Episodic KV Cache Offloading:为背景上下文剪枝中间层的 KV token。
  • RollingMemoryCompactor(Python/Go):将幂等文件读取(head、cat)自动去重为 SHA256 指针。
  • Episodic KV Cache Offloading:为背景上下文剪枝中间层的 KV token。

2. Schema 约束解码与语法引擎

  • xgrammar:面向 vLLM 和 SGLang 的 GPU 加速语法引导解码。
  • outlines:通过模型词表上的有限状态机(FSM)索引进行结构化文本生成。
  • guidance:结合 token 级正则约束的交替生成与控制逻辑。

生产示例(vLLM + xgrammar):


        from vllm import LLM, SamplingParams
from vllm.sampling_params import GuidedDecodingParams

schema = {
    "type": "object",
    "properties": {
        "tool": {"enum": ["patch_ast", "execute_test", "commit_fix"]},
        "file_path": {"type": "string", "pattern": r"^[\w\-\./]+\.[a-z]+$"},
        "patch_content": {"type": "string"}
    },
    "required": ["tool", "file_path", "patch_content"],
    "additionalProperties": False
}

params = SamplingParams(
    temperature=0.1,
    max_tokens=1024,
    guided_decoding=GuidedDecodingParams(json=schema)
)
      

3. SWE-bench 与自动化 AST 代码编辑

  • Tree-sitter:增量具体语法树解析,用于 AST 感知的差异比较。

文章标题:Show HN: AI Agent 基础设施与内存压缩规范

正文:

  • SWE-bench:用于评估 LLM 解决真实 GitHub issue 能力的基准测试。
  • 语法回滚防护:在解析阶段、调用编译器之前回退无效补丁。

4. MCP(Model Context Protocol)加固

  • 工具中的提示注入防御:对来自不可信 MCP 服务器的动态工具定义进行严格净化。
  • 僵尸进程回收器:自动清理超过空闲 TTL 的 stdio 子进程。
  • 并发限流:非阻塞 select 令牌桶,防止 LLM 重试风暴。

5. 沙箱与隔离

  • gVisor:用于容器安全的应用内核,在用户空间拦截 Linux 系统调用。
  • Firecracker:以 < 5 ms 启动的临时 microVM,用于执行不可信 Python 代码。
  • nsjail:使用命名空间和 seccomp-bpf 的轻量级 Linux 进程隔离工具。

6. 基准测试与真实生产指标

在 SWE-bench Verified 子集上测试(每天 17,000 次工具迭代,Llama-3.3-70B 运行于 4×A100):

指标朴素上下文缓冲线性摘要滚动压缩(我们的方案)
系统规则召回率68.2%74.5%97.8%
每次运行的 Token 成本1.84M1.12M0.62M (-66%)
无限循环失败率14.3%9.8%0.2%
p99 执行延迟4.8s8.2s1.9s

💬 社区与完整专著

讨论与架构蓝图由 Snowden SAY 维护。

  • 📡 Telegram 工程频道:@snowdensay
  • 📖 专著仓库机器人:@Snowden_book_bot

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by HN AI
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗