周二下午 2:47我们的 CFO 在 Slack 上发了一条消息。“你团队的年薪是 120 万美元。我们能谈谈优化吗”我知道要发生什么了。我们刚刚完成了 A 轮融资。风投想要运营效率。翻译削减成本、更快交付、展示增长。我们的高级后端工程师 Marcus 年薪 18 万美元。他和我们一起工作了三年。构建了我们大部分的核心基础设施。那个在凌晨 3 点出问题时修复一切的人。CFO 的下一条消息“如果我们用 AI 替换他呢ChatGPT Enterprise 每月 60 美元。”我笑了。然后我意识到他不是在开玩笑。两周后Marcus 走了。而我有了一张 ChatGPT Enterprise 订阅。还能出什么问题呢第 1 周蜜月期前几天……还行我会把 Marcus 以前的 PR 贴到 ChatGPT 里。像这样写代码。它会生成类似的模式。干净、结构良好。有时甚至比我们已有的还好。我们的初级工程师很喜欢。不用再等 Marcus 审查 PR。不用再Marcus 在开会的延迟。直接问 AI得到答案继续交付。速度上去了。第一周我们合并了 47 个 PR。之前和 Marcus 一起的记录23 个。CFO 发了一封祝贺邮件“看到了吗节省了 18 万美元生产力翻倍。这就是未来。”我用 表情转发给了团队。没人回复。第 2 周裂缝开始显现周一早上。我们的身份验证服务宕机了。以前这会触发“有人呼叫 Marcus。”现在沉默。然后有人问“我们……应该问 ChatGPT 吗”我把错误日志粘贴到 ChatGPT 里。ChatGPT 的回复“这似乎是 Redis 连接问题。尝试将连接池大小增加到 500。”听起来合理。我告诉团队实施它。三十分钟后我们的 Redis 集群崩溃了。完全崩溃。为什么因为我们的 Redis 实例最多只能处理 250 个连接。ChatGPT 建议了 500 个。Marcus 会知道这一点。Marcus配置了这个。AI 对我们的基础设施约束没有记忆。恢复时间3 小时。损失收入23,000 美元。问错问题的初级开发者周三下午。Sarah我们的初级开发者来到我的办公桌前。“嘿我在数据库查询上卡住了。通常 Marcus 会——”她停住了。想起 Marcus 已经走了。“好吧。我去问 ChatGPT。”我看着她粘贴查询。ChatGPT 给出了建议。她实施了。测试通过。她合并了。周五早上。查询在生产环境中超时了。我们的用户仪表板宕了。我把她拉进房间。“发生了什么”她给我看 ChatGPT 的建议。技术上是正确的。但它在对一个 4700 万行的表进行全表扫描。Marcus 会说“这在开发环境中有 100 行测试数据可以工作。但在生产环境中会崩溃。在这里添加索引。”ChatGPT 没有生产规模的概念。没有对我们数据量的记忆。没有关于在 4700 万行时会出什么问题的直觉。Sarah 开始哭了。“对不起。我只是……Marcus 总是知道什么时候会出问题。我以为 AI——”她没有说完这句话。恢复时间6 小时。客户投诉847。第 3 周辞职邮件周一8:34 AM。Sarah 的辞职信在我的收件箱里。“我无法这样工作。每个决定都感觉如履薄冰。Marcus 不只是代码审查员。他是我们的安全网。当我推送有风险的更改时他会捕捉到它们。现在我推送了东西在生产环境中崩溃了而我是那个搞砸的人。这不可持续。我走了。”然后是 Jake 的辞职信。9:12 AM。“我加入是因为 Marcus 指导我。他教我生产工程不是从教程而是从真实的事故中。AI 给我答案但它不教。我不再学习了。我只是在遵循我不理解的指令。”然后是 Priya 的。10:47 AM。“Marcus 知道我们的业务逻辑。AI 不知道。上周我问它关于我们的计费边缘情况。它给了通用的答案会导致退款问题。Marcus 会说’我们在 2023 年试过这是它失败的原因。AI 没有机构记忆。我们会继续犯同样的错误。”到周三午饭时8 名工程师中有 6 名辞职了。当我们失去 Marcus 时我们失去了什么我花了三周时间才理解我们实际上解雇了什么。我们没有解雇一个高级工程师。我们解雇了那个记得 2022 年那次我们尝试水平扩展却因为连接池搞垮数据库的人。ChatGPT 不记得 2022 年。那个知道我们的 AWS 账户因为 2023 年迁移失败而配置得很奇怪标准解决方案不起作用的人。ChatGPT 不知道你的混乱迁移。那个指导初级工程师不仅是代码还有判断力的人。这可以工作但这里它会在六个月内变成调试噩梦。ChatGPT 没有六个月后的概念。那个说不的人。这个功能是个坏主意它会创造我们负担不起的技术债务。ChatGPT 从不说不。它只是构建你要求的东西。那个在凌晨 3 点修复东西的人因为他关心产品而不是因为他遵循支持工单。ChatGPT 不关心。我们没有节省 18 万美元。我们失去了防止百万美元错误的机构记忆。没人想做的数学让我告诉你节省 18 万美元实际花了我们多少直接成本前三周生产事故8 次平均解决时间4.2 小时对比 Marcus 时的 45 分钟每次事故平均损失收入31,000 美元总计248,000 美元间接成本招聘替代 6 名工程师约 240,000 美元4 个月2 名招聘人员招聘期间损失的生产力约 180,000 美元培训替代人员约 120,000 美元入职时间3-4 个月才能有生产力复合成本事故导致的客户流失14 个企业账户面临风险年合同价值每个 47,000 美元潜在损失658,000 美元3 周总成本144.6 万美元为了一个 18 万美元的薪水。投资回报率-803%ChatGPT 实际替换了什么以下是 ChatGPT 确实擅长的事情生成样板代码 ✓解释语法 ✓为简单函数编写测试用例 ✓重构明显的代码异味 ✓以下是它无法替代的了解我们的特定基础设施 ✗理解我们的业务逻辑边缘情况 ✗记住过去的事故和解决方案 ✗指导初级工程师 ✗说这是个坏主意 ✗关心产品 ✗在一切都在燃烧时凌晨 3 点待命 ✗Marcus 做了所有这些。AI 做了其中的 30%。我们优化了那 30%却失去了真正重要的 70%。我应该发的道歉邮件我从未发送过这个。我真希望我发了。Marcus,我搞砸了。我们用 ChatGPT 替换了你因为 CFO 看到18 万美元薪水就想到了开支。他没有看到的凌晨 3 点的调试会议你指导的初级工程师你承载的机构知识防止灾难的判断力你他妈的在乎这个事实我们以为工程只是写代码。结果不是。我们在溺水。团队辞职了。生产环境在燃烧。而我有一个 ChatGPT 订阅却无法告诉我为什么我们的 Redis 集群在凌晨 4 点不断崩溃。对不起。我没有发它因为我太尴尬了。Marcus 两周后加入了竞争对手。年薪 24 万美元。他们在碾压我们。我学到的关于 AI 实际是什么AI 不是高级工程师的替代品。它是一个非常昂贵的自动补全。它擅长加速你已经知道怎么做的任务生成你将审查的代码的初稿在 Stack Overflow 宕机时回答问题它很糟糕对于不该构建什么做判断理解你没有明确喂给它的上下文在乎结果指导人类机构记忆说这是个可怕的主意这是为什么当你把它当作高级工程师对待的那一刻你就已经输了。我们现在的团队六个月后我们雇了 Marcus 的替代者。花了 4 个月。花了 21 万美元竞价战。他叫 David。很好。还没到 Marcus 的水平但在学习我们的系统。我们还雇回了 Sarah。她要求原工资的三倍。我们付了。当前团队工资140 万美元从优化前的 120 万美元上涨ChatGPT Enterprise 订阅仍然活跃。没人使用。我问 Sarah 为什么。“因为当我卡住时我想要了解我们代码库的人。ChatGPT 给我通用答案。David 给我这里有效的答案。”结果证明这个差异值 18 万美元。我现在问每个创始人的问题当有人告诉我他们在用 AI 优化人员配置时我问一个问题“你的高级工程师做的什么 AI 做不到”如果他们答不上来他们即将以昂贵的方式学到教训。如果他们说只是写代码他们已经失去了最好的人而不自知。赢的团队不是那些用 AI 替代人类的团队。而是那些用 AI 让他们的人类效率提高 10 倍的团队。巨大的差异。在生产中偷工减料的真正成本在我们失去 Marcus 并看着生产环境燃烧三周后我意识到工程的昂贵部分不是薪水。而是防止灾难的知识。那三周发生的事故Marcus 会阻止所有这些。不是因为他比 ChatGPT 聪明——而是因为他以前见过它们。我写了 Marcus 离开后发生的每一起事故30 起让公司损失数千美元的真实事故——当我们以为 AI 可以替代经验时错过的模式。身份验证崩溃、Redis 灾难、数据库超时——这些不是随机的。它们遵循 Marcus 知道的模式。ChatGPT 不知道的模式。对于试图在不因错误而烧钱的情况下扩展的团队生产事故生存系统——Marcus 使用过的 ChatGPT 无法复制的检查清单。既然我们在谈论用自动化替代判断——AI 确实有帮助的一个地方是事故报告。当生产环境崩溃时你不需要高级工程师来写事后分析。你需要他们来预防事故。ProdRescue AI 写事故报告。你的工程师专注于修复实际问题。这才是有意义的自动化——不是替代防止火灾的人而是在火灾发生时还给他们时间。因为我学到的是AI 不替代高级工程师。它给他们超能力。或者它替代他们你的创业公司就死了。你的选择。原文链接我用AI替换了高级工程师结果… - 汇智网