| Ask HN:谁真正在 AI 编码中胜出? | ||
|---|---|---|
| 4 分,由 unclebucknasty 于 4 小时前发布 │ 隐藏 │ 过往 │ 收藏 │ 4 条评论 | ||
| 我现在已经在三个不同的 Claude 编码项目中注意到了同样的模式。初始速度很强,但随后开始减弱,直到回报变为负值。这似乎是由模型行为的变化和代码库规模增加共同造成的——后者是重点。代码库和记录的历史/进度(例如通过更新已完成工作和说明,如 .md 文件)越大,漂移就越开始出现。在某一点上,你会遇到崩溃。这时它无法在单个工作单元内保持一致性。例如,它可以表现为向视图添加一个类似元素,但以与现有元素完全不同的方式设置样式。感觉真的是随机的。它也可以表现为不连贯或实现不佳的逻辑和行为。我遵循过不同的建议,重构项目,进入计划模式,添加确定性检查、样式、规则等。但是,这感觉像打地鼠,而且不清楚它首先是否真的遵守了这些规则。然后,还有它把问题转移开的问题。针对我对 UI 生成不一致的抱怨,它建议在其 UI 更改后运行样式检查。当然,这就引出了一个问题:为什么它不在初始生成时就应用这些规则。但是,我现在到了这样一个阶段:它启动 AI 代理来做完整的 UI/UX 审查——Playwright 等等。然而,它仍然在漂移,而且没有发现。这与它的单元测试一致——在我最新的项目中,它现在生成了一套数百个有些耗时的测试,它不断在 pre-commit 中运行它们,而且没有一个测试曾经失败过。与此同时,出现了许多 bug。当被质问时,它说它一直在测试“错误的层级”,并且本质上生成了自我确认的测试。我的问题是,这里谁真正在赢?查询 Google 时,它会指向如此多关于成功的声明以及据称有助于成功的方法。但是,当你分解这些声明的底层来源时,它似乎主要是 Reddit。然而,进一步追问会发现,几乎每一项实际研究都显示要么生产力几乎没有提升,要么实际退步——尤其是在涉及有经验的工程师时。其中一些研究驳斥了正是你在 Reddit 等地方看到的那种自述声明。那么,这里谁使用 AI 编码开发过任何复杂度的、高质量的生产应用?如果有人,用了哪个 harness/模型,以及使用了什么技术?另外,能给我们指出你的仓库吗? |
这似乎是由模型行为的变化和代码库规模增加共同造成的——后者是重点。代码库和记录的历史/进度(例如通过更新已完成工作和说明,如 .md 文件)越大,漂移就越开始出现。
在某一点上,你会遇到崩溃。这时它无法在单个工作单元内保持一致性。例如,它可以表现为向视图添加一个类似元素,但以与现有元素完全不同的方式设置样式。感觉真的是随机的。
它也可以表现为不连贯或实现不佳的逻辑和行为。我遵循过不同的建议,重构项目,进入计划模式,添加确定性检查、样式、规则等。但是,这感觉像打地鼠,而且不清楚它首先是否真的遵守了这些规则。
然后,还有它把问题转移开的问题。针对我对 UI 生成不一致的抱怨,它建议在其 UI 更改后运行样式检查。当然,这就引出了一个问题:为什么它不在初始生成时就应用这些规则。
但是,我现在所处的阶段是,它会启动 AI 代理来进行完整的 UI/UX 审查——包括 Playwright 等等。然而,它仍然在漂移,没有抓住问题。这与其单元测试的情况一致——在我最新的项目中,它现在已经生成了一套包含数百个有点耗时的测试,它不断在 pre-commit 前运行,而且没有一个测试曾经失败过。与此同时,出现了不少 bug。当被质疑时,它说它一直在测试“错误的层”,并且本质上生成了自我确认的测试。
我的问题是,这里到底谁真正赢了?当查询 Google 时,它会指向那么多关于成功的说法,以及据称有助于取得那种成功的方法。但是,当你拆解这些说法背后的来源时,它似乎主要是 Reddit。
然而,进一步追问会发现,几乎所有实际研究都显示要么几乎没有生产力提升,要么实际倒退——尤其是在涉及有经验的工程师时。而且其中一些研究驳斥了正是你在 Reddit 等地方看到的那种自我报告式的说法。
那么,这里谁使用 AI 编码开发过任何复杂度的优质生产应用?如果有人,用了哪个 harness/model,以及你使用了什么技术?另外,你能给我们指一下你的 repo 吗?
| fedpost 4小时前 │ 下一条 [–] 我觉得你一语中的。以我的经验,如果你极其自律,并且真的逐行审查 LLM 试图修改的代码,你确实可以维护一个大型代码库;但除此之外,你只是在拉老虎机拉杆,指望有好结果。这对小型程序很有效,有时人们在大型程序上反复抛硬币也能走运,但最终会崩溃。回复 | fedpost 4小时前 │ 下一条 [–] 我觉得你一语中的。以我的经验,如果你极其自律,并且真的逐行审查 LLM 试图修改的代码,你确实可以维护一个大型代码库;但除此之外,你只是在拉老虎机拉杆,指望有好结果。这对小型程序很有效,有时人们在大型程序上反复抛硬币也能走运,但最终会崩溃。回复 | ||
|---|---|---|---|
| fedpost 4小时前 │ 下一条 [–] 我觉得你一语中的。以我的经验,如果你极其自律,并且真的逐行审查 LLM 试图修改的代码,你确实可以维护一个大型代码库;但除此之外,你只是在拉老虎机拉杆,指望有好结果。这对小型程序很有效,有时人们在大型程序上反复抛硬币也能走运,但最终会崩溃。回复 | |||
| unclebucknasty 4小时前 │ 父级 │ 下一条 [–] > 以我的经验……如果你极其自律,并且真的逐行审查 LLM 试图修改的代码 你是否发现,审查它如此轻易产出的大量代码,其效率显著高于自己写代码?而且,考虑到它产出的代码常常难以阅读/维护,即使把代码审查时间算进去能看到一些收益,这值得吗?真的很难看出净影响到底是什么,以便相应校准预期。回复 | unclebucknasty 4小时前 │ 父级 │ 下一条 [–] > 以我的经验……如果你极其自律,并且真的逐行审查 LLM 试图修改的代码 你是否发现,审查它如此轻易产出的大量代码,其效率显著高于自己写代码?而且,考虑到它产出的代码常常难以阅读/维护,即使把代码审查时间算进去能看到一些收益,这值得吗?真的很难看出净影响到底是什么,以便相应校准预期。回复 | ||
| unclebucknasty 4小时前 │ 父级 │ 下一条 [–] > 以我的经验……如果你极其自律,并且真的逐行审查 LLM 试图修改的代码 你是否发现,审查它如此轻易产出的大量代码,其效率显著高于自己写代码?而且,考虑到它产出的代码常常难以阅读/维护,即使把代码审查时间算进去能看到一些收益,这值得吗?真的很难看出净影响到底是什么,以便相应校准预期。回复 | |||
| fedpost 3小时前 │ 根级 │ 父级 │ 下一条 [–] 这……很复杂?如果你合理拆分,你可以专注于核心代码,让 LLM 处理外围部分(即构建系统、依赖、单元测试等)。我认为优势在于让开发者专注于关键部分,而不是繁琐事务,但大多数人并不是这么做的。回复 | fedpost 3小时前 │ 根级 │ 父级 │ 下一条 [–] 这……很复杂?如果你合理拆分,你可以专注于核心代码,让 LLM 处理外围部分(即构建系统、依赖、单元测试等)。我认为优势在于让开发者专注于关键部分,而不是繁琐事务,但大多数人并不是这么做的。回复 |
| | | fedpost 3小时前 │ 根级 │ 父级 │
下一条 [–] 这……很复杂?如果你把东西拆分得好,就可以专注于核心代码,让 LLM 处理外围部分(也就是构建系统、依赖、单元测试等)。我认为优势在于让开发者专注于关键部分,而不是枯燥的杂活,但大多数人并不是这么做的。 回复 | |
| | | proc0 3 小时前 │ 上一条 [–] 我一直只用一些较小但仍然有能力的本地 AI。我仍然怀疑是否值得在 AI 优先工作流所需的技能(我的技能)上投入太多精力。我认为工程学的主要支柱之一被忽视了,那就是精确性和可预测性。现在我确信这个问题本身有工程解决方案,意思是你可以利用 AI 工作流的混乱特性,并围绕它构建东西来管理它,然而这不是一笔微不足道的开销。我不认为这值得,而且在某种程度上,这违背了 AI 最初的宗旨
根据我的经验,只有当你极其自律,并且真的逐行审查 LLM 试图编辑的代码时,你才能维护一个大型代码库;但除此之外,你不过是在拉老虎机摇杆,指望能出好结果。这对小型程序很有效,有时人们在较大程序上反复抛硬币也能走运,但最终还是会崩溃。
你是否发现,审查它如此轻易生成的大量代码所付出的努力,显著比你自己写代码更有生产力?
而且,考虑到它生成的代码往往难以阅读/维护,即便把代码审查时间也算进去后你看到了一些收益,这值得吗?
真的很难弄清净影响究竟是什么,从而据此校准预期。
如果你把东西拆分得好,你就可以专注于核心代码,让 LLM 处理外围部分(即构建系统、依赖、单元测试等)。我认为优势在于让开发者专注于关键部分,而不是繁琐苦工,但大多数人并不是这么做的。
我认为工程学的一个主要支柱正被忽视,那就是精确性和可预测性。现在我确信,这个问题本身存在工程解决方案,也就是说,你可以利用 AI 工作流的混乱本质,围绕它构建东西来管理它,然而这并非微不足道的开销。我不认为它值得,而且从某种意义上说,这从一开始就违背了 AI 的目的,即智能系统至少应该知道它们什么时候错了,以及它们自身的局限是什么。
话虽如此,AI 在开发中总体上已经有一席之地,只是不是作为主要驱动力。如果进展保持在这个水平,那就只是把它做得更小、更便宜并且本地优先的问题,然后它将成为构建工具之类东西的组成部分。到目前为止,我认为最好的用例是增强人类驱动的开发。