AI 真的能提升开发者生产力吗?(10万开发者研究)- Yegor Denisov-Blanch,斯坦福

Does AI Actually Boost Developer Productivity? (100k Devs Study) - Yegor Denisov-Blanch, Stanford

频道:AI Engineer · 时长:18:12 · 发布:2025-07-23 · 播放:313276

在 YouTube 观看

简介

斯坦福的 Yegor Denisov-Blanch 介绍了一项对数百家公司近10万名开发者的研究,通过提交数据衡量 AI 对生产力的影响。研究发现平均提升约20%,但因代码库、任务复杂度和技术栈差异很大。

HN 为什么推荐

在 AI 编码辩论中被引用为最大的数据驱动研究之一,尤其因为发现自我评估与实测生产力之间没有相关性。

这是一项试图科学的研究,不像开发者自我报告和 CEO 承诺的10倍提升。 — HN, 2025

软件实践、开源与职业 · 大语言模型与生成式 AI

中文字幕节选

[音乐] 今年一月,马克·扎克伯格表示,他将在年底前用AI取代Meta所有 中级工程师。 我认为马克有点过于乐观,他可能是在像一位优秀的CEO那样行事, 以激发愿景,同时也可能是为了维持Facebook的股价。 但马克还做了一件事,给全世界的CTO们带来了很多麻烦。 为什么?因为马克说完之后,世界上几乎每一位CEO都转向 他们的CTO说:“嘿,马克说他要把他所有的开发者都换成 AI。我们在这方面进展到哪了?” 而答案可能老实说并不太远,我们也不确定是否会 这么做。所以我个人认为,希望这不会,呃,你知道,不会 改变,但我不认为AI会完全取代开发者。 至少至少今年不会,更不用说在Meta了,对吧? 但是呃,我确实认为AI提高了开发者生产力,但也有 一些情况下它会降低开发者生产力。 所以AI或使用AI进行编码并不是一刀切的解决方案,有些情况下 不应该使用它。 所以在过去的三年里,我们呃一直在进行一项较大的呃研究, 关于斯坦福的软件工程生产力,我们以时间 序列和横截面的方式来做这件事。 时间序列意味着即使参与者在2025年加入,我们也能获取 他们的git历史,这意味着我们可以看到跨时间的数据趋势,我们可以看到新冠, 我们可以看到AI,我们可以看到所有这些趋势和发生的事情,然后还有 横截面,因为我们有超过600家公司参与,包括企业、 中型公司和初创公司,所以这意味着我们的数据集中现在有超过10万名软件 工程师,数千万次提交和数十亿 行代码。最重要的是,大部分数据是私有仓库。 这很重要,因为如果你用公共仓库来衡量某人的生产力, 那个公共仓库不是自包含的。 有人可能在周末或偶尔在那个仓库上工作,对吧? 而如果你有一个私有仓库,它就更自包含,更容易 衡量一个团队、一个公司、一个组织的生产力。 所以去年年底,有一个巨大的呃有争议的呃事情,关于幽灵工程师。 这来自同一个研究小组,我们的研究小组,在这里 呃埃隆·马斯克好心转发了我们。 但我们发现,在我们的数据集中,大约10%的软件工程师,在 当时大约5万人,是我们所谓的幽灵工程师。 这些人领薪水但基本上不工作。 所以这对一些人来说非常令人惊讶,对另一些人来说非常不令人惊讶。 这个研究团队中的一些人,例如来自行业的Simon。 呃他曾是一家独角兽公司的CTO,他退出了,他有一个大约700名 开发者的团队,作为CTO,他总是最后一个知道他的工程团队 出了什么事的人,对吧,所以他想,好吧,我怎么能改变这个? 我自己从22年起就在斯坦福,我专注于我称之为数据驱动的 软件工程决策,在过去,我负责 一家拥有数千名工程师的大型公司的数字化转型。 团队中还有曾在斯坦福的Kasinski教授,他的研究 专注于数字环境中的人类行为,基本上他是 当年的剑桥分析公司吹哨人,如果你还记得的话。 所以今天我们将讨论三件事。 我们将从现有研究的局限性开始,这些研究试图

HN 上的讨论

这项关于开发者生产力的斯坦福研究发现,开发者对自己生产力的评估与独立的生产力衡量之间零相关性。任何开发者关于 AI 如何使他们更有或更少生产力的轶事证据都是无价值的。[VIDEO] — Ianjit, 2026-01
正如我链接的帖子中提到的,他们承认生产力难题,并尝试在研究中控制它。值得详细阅读它们,我觉得许多研究在控制许多因素方面做得不错。例如,在测量 PR 数量时,他们确保每个 PR 无论是否 AI 辅助都经过相同的审查流程,确保这些 PR 达到与人类相同的质量标准。此外,他们将其作为随机对照试验进行,比较没有 AI 的工程师与有 AI 的工程师(在大多数情况下,是同一批人随时间的变化!),这确实控制了许多将 PR 孤立地作为生产力整体视图的问题。>……其参与者为那些对 AI 未来成功投入巨资的组织工作。这似乎相当人身攻击,除非你想声称他们在伪造数据。还有来自 NBER、MIT、UPenn、普林斯顿等顶级机构的合著者。关键是:他们都得出了相似的生产力提升范围,比如斯坦福研究:> [VIDEO](来自斯坦福,不是 RCT,但规模最大,包含来自 600 多家公司的 10 万名开发者的实际提交,并试图… — keeda, 2025-12
这个视频中的斯坦福团队有一个有些类似的数据集,他们考虑了“代码流失”,即 AI 输出的返工:[VIDEO]——我认为他们通过跟踪后续提交中是否更改了相同的代码行来做到这一点。也许值得考虑。 — keeda, 2025-12
“那个研究设计有一些问题。”这是一项试图科学化的研究,不像开发者自我报告和 CEO 承诺的 10 倍提升。你能指出一项更好的关于 AI 对开发者生产力影响的研究吗?我能想到的唯一另一个研究发现生产力提升了 20%。[VIDEO] — Ianjit, 2025-10
这里有一些具体数据和漂亮的图表:[VIDEO] 但如果你从事专业开发并使用像Claude Code这样的工具(我认为是目前的标准),你很快就能掌握它擅长什么和不擅长什么。我想我花了大约3-4周的时间,总体收益为零,才意识到它能在哪些方面帮助我,以及哪些方面会让我花更长时间。 — stitched2gethr, 2025-09

相关视频