Translation(model translation, not the source's own text)
| Ask HN:如何用一组 100 个任务的标注集构建 LLM 路由器? | ||
|---|---|---|
| 1 分 由 zodwick 39 分钟前 │ 隐藏 │ 历史 │ 收藏 │ 讨论 | ||
| 我已经花时间为一组约 100 个任务按各种标准(准确性、全面性、沟通风格)构建了评分细则。然后把这些任务在几个模型上跑了一遍,现在有了一个标注集,其中我知道对于每个任务,哪个最便宜/最快的模型能达到最低阈值(比如 80)。基于这个,接下来要怎么构建一个路由器?这方面似乎没有好的文献 / 开源项目。我在 claude 的帮助下尝试了一堆方法:- 尝试通过一系列探针式是/否问题来使用 Jev(任务是否包含 x,world 是否有 y……等)。但这没有产生好结果。- 对任务的嵌入做 kNN——事后看,这从任务上就注定会失败,因为现在我认为我们确实需要某种 NN 来弄清楚 world/任务复杂度。- 对提示复杂度进行分类——类似 https://catalog.ngc.nvidia.com/orgs/nvidia/nemo/models/prompt-task-and-complexity-classifier/- 从概念上讲,主要问题是,在你真正进入任务之前,无法完全预测一个任务有多难——比如你可能在后续阶段遇到未知的细微差别或问题,但分类必须在开始时发生。所以我开始怀疑这到底是否可能,说实话 |
基于这个,接下来要怎么构建一个路由器?这方面似乎没有好的文献 / 开源项目。
我在 claude 的帮助下尝试了一堆方法:- 尝试通过一系列探针式是/否问题来使用 Jev(任务是否包含 x,world 是否有 y……等)。但这没有产生好结果。- 对任务的嵌入做 kNN——事后看,这从任务上就注定会失败,因为现在我认为我们确实需要某种 NN 来弄清楚 world/任务复杂度。- 对提示复杂度进行分类——类似 https://catalog.ngc.nvidia.com/orgs/nvidia/nemo/models/prompt-task-and-complexity-classifier/-
从概念上讲,主要问题是,在你真正进入任务之前,无法完全预测一个任务有多难——比如你可能在后续阶段遇到未知的细微差别或问题,但分类必须在开始时发生。所以我开始怀疑这到底是否可能,说实话。