揭穿 Devin:“首位 AI 软件工程师” Upwork 谎言曝光!

Debunking Devin: "First AI Software Engineer" Upwork lie exposed!

频道:Internet of Bugs · 时长:25:16 · 发布:2024-04-09 · 播放:557815

在 YouTube 观看

简介

Internet of Bugs 逐帧分析 Cognition 的 Devin 演示,认为该视频并未展示 Devin 如声称的那样完成付费 Upwork 工作,并展示了任务要求与 Devin 产出之间的对比。

HN 为什么推荐

在关于 AI 软件工程师的怀疑性讨论中被引用,作为对 Devin 营销声明的揭穿。

软件实践、开源与职业 · 大语言模型与生成式 AI · AI 与数据(其他)

中文字幕节选

这里是Internet of Bugs,我叫Carl,而<i>那</i>是一个谎言。 所以这个视频分为三部分。 首先,我们要谈谈那个说法。 我们要谈谈本应该怎么做。 Devin实际做了什么,它是怎么做的,以及做得怎么样。 我从事软件行业已经35年了。 我并不反AI,但我真的反对炒作,这就是我做这个的原因。 Devin发布还不到一个月。 它被吹捧为世界上“第一个AI软件工程师”。 我不相信它是第一个软件工程师,我 已经做了一个关于这个的视频。 我会把链接放在描述里。 但今天要谈的是视频描述第一行中的具体说法, 它说“观看Devin通过接 messy Upwork 任务赚钱。 那个说法是谎言。你无法在视频中看到这一点。 视频中并没有发生。 它没有发生。更糟糕的是, 那些重复和夸大这一说法的人所制造的炒作和恐惧、不确定性和怀疑, 因为他们想获得点击量,或者 他们想走红,或者他们只是想成为时代精神的一部分。 围绕Devin的炒作总体上简直是疯狂的。 而那个说法似乎就是很多炒作的依据。 记录一下,我个人认为生成式AI很酷。 我经常使用GitHub co-pilot。 我使用ChatGPT、llama 2、Stable Diffusion。 所有这些都很酷,但谎报这些工具能做什么 对每个人都不利。 所以Devin做了一些令人印象深刻的事情。 我希望公司能诚实一点,直接接受这个 胜利,但他们没有。他们不得不假装它做了 比实际多得多的事情。 现在,我不想从那些实际构建Devin的工程师那里夺走任何东西。 我认为Devin在很多方面都令人印象深刻, 我尤其不想针对视频中的那个人。 谎言不在视频本身。 它们在描述中,在公司发布的推文中, 指向它。然后它们在很多地方,人们一遍又一遍地重复那个 谎言。这不应该被允许。 公司不应该被允许撒谎而不被指出。 人们不应该重复他们在互联网上听到的东西而不 自己核实。我意识到这是堂吉诃德式的行为, 但我将为此奋斗到底。 既然我看到的其他人似乎都没有解释为什么这是一个谎言。 我想如果这件事要完成,我就得去做。 所以我就开始了。在你认为这是无害的之前,请理解这种谎言会造成 真正的伤害。你正在看这个。 你可能至少有点技术背景。 请记住,有很多人只看 标题不读文章,他们不懂技术。 这些谎言的作用是让非技术人员 相信AI比目前实际能力要强大得多。 这会导致各种问题。 人们对AI的怀疑程度远低于他们应该有的。 他们对AI输出的怀疑程度远低于他们真正应该有的。 如今,轻信AI让很多人陷入麻烦。 只需谷歌搜索“AI律师虚假案例”或“AI虚假科学论文”。 这些只是突出的例子。 这也伤害了真正的软件专业人士,因为会有 人信任AI生成的代码。 而这只会意味着互联网上更多的错误,而且已经有很多了。 已经太多了。已经一团糟了。 漏洞利用已经太多了。 黑客攻击已经太多了。 而且,流传出去的劣质代码越多,整个生态系统对每个人来说

HN 上的讨论

没有公开测试,没有基准,没有关于上下文窗口大小或广泛使用限制的明确信息,没有与最新的Claude Sonnet 3.5或O1的比较,什么都没有。我们得到的是来自一家被发现在这个产品上撒谎[0]并且从未允许独立测试的公司每月500美元的价格。Cognition,我很抱歉地告诉你,没有理由相信你。事实上,即使你以极低的价格提供Devin,也有多个充分的理由不信任你。如果这是例如Anthropic发布一个新的超越Opus大小的模型,仍然性能出色,并具有“思维链”能力,一个更广泛的上下文窗口,仍然完全通过大海捞针测试,并且在从提供的文件中获取信息方面绝对可靠,即使提供大型文档也能保持正轨,对使用几乎没有限制,并附带广泛的、可验证的基准,展示该产品比其他模型有显著升级,也许这样的价格是合理的。你知道为什么吗,Cognition?因为他们没有主动撒谎。他们所做的只是让人们使用他们的模型并实际测试优势… — Topfi, 2024-12
我看到的最后一个关于它的视频说,称Devin为完成Upwork任务的AI软件工程师是一个谎言,这是基于之前视频中分享的内容。[VIDEO] “我逐帧分析了Devin Upwork视频,在这里我展示了Devin应该做什么,它实际做了什么,以及它做得有多糟糕。总的来说,鉴于生成式AI的现状,这并不令人惊讶,我本来不会费心去揭穿它,除非:1)公司在视频描述中谎报了Devin能做什么,2)很多人在互联网上不加批判地重复这个谎言,3)这导致很多非技术人员相信AI可能很快取代程序员。” — jaredsohn, 2024-09
这个揭露Devin的视频([VIDEO])真的让我质疑它的实用性。它在仓库里创建了一个文件,花了很多时间调试自己不必要的代码,而不是阅读Read Me来理解它需要使用的代码已经存在,只需要用不同的输入来运行。目前还不清楚我们是否接近它能独立且有意义地为现有代码库做出贡献,而不是这些绿地演示。感觉类似于自动驾驶AI的炒作,L5仍然离实现很远(Waymo最接近,但据我所知仍然需要大量远程人工干预)。 — siliconc0w, 2024-05

相关视频