Newshot

Ask HN:如何用一组 100 个带标注的任务构建 LLM 路由器?

Translation(model translation, not the source's own text)
Ask HN:如何用一组 100 个任务的标注集构建 LLM 路由器?
1 分 由 zodwick 39 分钟前 │ 隐藏 │ 历史 │ 收藏 │ 讨论
我已经花时间为一组约 100 个任务按各种标准(准确性、全面性、沟通风格)构建了评分细则。然后把这些任务在几个模型上跑了一遍,现在有了一个标注集,其中我知道对于每个任务,哪个最便宜/最快的模型能达到最低阈值(比如 80)。基于这个,接下来要怎么构建一个路由器?这方面似乎没有好的文献 / 开源项目。我在 claude 的帮助下尝试了一堆方法:- 尝试通过一系列探针式是/否问题来使用 Jev(任务是否包含 x,world 是否有 y……等)。但这没有产生好结果。- 对任务的嵌入做 kNN——事后看,这从任务上就注定会失败,因为现在我认为我们确实需要某种 NN 来弄清楚 world/任务复杂度。- 对提示复杂度进行分类——类似 https://catalog.ngc.nvidia.com/orgs/nvidia/nemo/models/prompt-task-and-complexity-classifier/- 从概念上讲,主要问题是,在你真正进入任务之前,无法完全预测一个任务有多难——比如你可能在后续阶段遇到未知的细微差别或问题,但分类必须在开始时发生。所以我开始怀疑这到底是否可能,说实话

基于这个,接下来要怎么构建一个路由器?这方面似乎没有好的文献 / 开源项目。

我在 claude 的帮助下尝试了一堆方法:- 尝试通过一系列探针式是/否问题来使用 Jev(任务是否包含 x,world 是否有 y……等)。但这没有产生好结果。- 对任务的嵌入做 kNN——事后看,这从任务上就注定会失败,因为现在我认为我们确实需要某种 NN 来弄清楚 world/任务复杂度。- 对提示复杂度进行分类——类似 https://catalog.ngc.nvidia.com/orgs/nvidia/nemo/models/prompt-task-and-complexity-classifier/-

从概念上讲,主要问题是,在你真正进入任务之前,无法完全预测一个任务有多难——比如你可能在后续阶段遇到未知的细微差别或问题,但分类必须在开始时发生。所以我开始怀疑这到底是否可能,说实话。

The translation is machine-generated and individual terms may be off. Nothing is rewritten or cut; the original is authoritative.

Published by HN AI
This site only summarises and aggregates; copyright stays with the original author. Headlines and summaries follow the source — where they differ, the original wins.
Read the original ↗