Newshot

Show HN:用 WebGPU 观看权重空间编程的实际演示

Translation(model translation, not the source's own text)

Show HN:用 WebGPU 观看权重空间编程的实际效果

同一个问题,一个陷入循环,一个给出答案。

这是两个模型在相同提示词、相同随机种子下的真实录像。页面会自动播放——你可以拖动时间轴、调整播放速度,或选择其他案例。

录制 · llama.cpp · Q4_K_M

展开录像……

正在获取录制的 token 流(约 1 MB)。页面上的其他内容已经可以正常使用。

点击播放。思考文本以灰色显示,最终答案以深色墨迹显示。

这是精心挑选的吗?这里是完整批次。加载中……

回放案例来自一批使用相同设置录制的 MATH-500 题目。

基座模型陷入循环

开启思考后,小 Qwen 会不断自我复核——“等等,让我验证一下……”——直到耗尽预算,而不是给出答案。

一个 LLM 改动了 0.016% 的权重

它从第 15 层和第 19 层的 64 个神经元的输出权重(ffn_down)中减去一个方向——约 8 亿个权重中的 131,072 个。

条纹绘制宽度约为真实比例的 25 倍——按真实尺寸它们将不可见。

编辑后的模型摆脱了循环

同一个模型,同样的提示词——它不再循环,并能完成回答。

这可能适用于哪里

模型汤(model souping)——diffusion-LoRA 合并是其中一例——也是一种权重空间编辑。区别在于目标:模型汤用广泛的基准来挑选合并权重(有时还有合并顺序);权重空间编程则聚焦于少数特定的失败案例及其背后的神经元。有趣的是:它很适合 agent——提出一次编辑、测试它、把结果反馈回来——这正是近期编码 agent 取得胜利背后的编辑-测试-重复循环。

编辑内部

131,072 个被改动的权重位于何处,以及被编辑的神经元在模型思考时做了什么。

权重差异 加载中……

每个被编辑的 ffn_down 张量所对应的 3,584 个神经元中,哪些被改动了,改动了多少。

推理过程中的关键神经元 加载中……

第 15 层和第 19 层的 64 个被编辑神经元,在录制运行中逐 token 展示。与上方的回放同步:悬停查看,拖动浏览。

  • 循环让它们亮起来当原始模型开始自我重复时,这些神经元激活得更强:编辑所增加的推力在循环内部比同一次运行的其余部分大约大 2–4 倍。
  • 编辑进行反推这个推力指向与神经元原本写入的方向相反,因此它们激活得越强,编辑就越用力地将模型引离循环。
  • 第 19 层平静下来将编辑后的权重跑在同样的循环文本上(虚线),第 19 层的活跃度大约减半(≈ 2.1,而非 ≈ 4.0)。
  • 循环变得不稳定它的后续 token 不再是确定的事:15.9% 的循环 token 概率低于 90%,而原始模型为 0.4%。

正在等待回放……

编辑的推力有多强 · 每 token 的 |push| · L15:虚线按构造等于基座(第 15 层以下未改动)

n = 4 个循环 + 1 个对照 · 相关性,非证明 · 对录制的 token 进行 bf16 前向 · 为网页做了 int8 量化

脚注:录制器只标记不重叠的重复,因此循环可能比文本实际开始重复的时间更晚开始;你的浏览器会重新检查每一处重复,并为遗漏的部分加上阴影标记。“Push”是给定基座激活时编辑将要增加的量——其符号是一种约定,因此图表展示的是它的大小。

在你的浏览器中运行

两个模型都通过 llama.cpp → WebAssembly + WebGPU 在本地运行。不会向服务器发送任何内容。

顺序运行时默认卸载每个模型以限制 GPU 内存。n_ctx / n_gpu_layers 在下次加载时生效。

输出流

每个模型说了多久,以及它是如何结束的:灰色 = 思考,彩色 = 答案,✓ = 自行停止,⚠ = 触及上限。x = 流块(≈ 一个 token)。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by Hacker News
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗