长辈都说 这玩意聊天吹牛真好玩
作者在文章中分享了自己在升级 Shopify 电子邮件通知范本时，向 Shopify 使用大型语言模型 (LLM, Large Language Model) 驱动的开发文档机器人询问 Liquid 语法问题的经验。他希望检测订单中是否含有通过 Shopify Collective 出货的项目，于是机器人快速回复了一段检查 order.tags 是否含有 "Shopify Collective" 的代码。然而，这段代码虽看似正确，实际测试却无法符合预期，因为在通知产生时该标签尚未被添加，只有在订单稍后由 Shopify 的某个神秘流程中才会加上。
进一步测试发现，当订单确认邮件发送时，"Shopify Collective" 标签并不存在，因此原先机器人给出的答案不仅无效，还暴露出一个问题：该机器人仅根据缺省的文档数据草率猜测，而忽略了实际工作流程中的时序问题。作者借此质疑，若文档机器人经常采取这种随意应对的模式，其快速回复带来的错误代价可能远高于偶尔提供准确信息的效益。
讨论中有不少开发者也分享了类似的疑虑，认为若 AI 机器人仅凭直觉生成答案，其不稳定性将导致用户采取错误作法。有意见指出，面对技术性问题时，错误的文档回应比根本没有回应还要让人沮丧；甚至有人将这比喻为销售人员回答技术问题般离题且不实际。部分回应者强调，在需要精确操作的情况下，传统由经验累积编写而成的官方文档才更值得信赖。
此外，讨论中也提到，即便采用类似 RAG（检索与生成融合技术）的系统来辅助查找，仍难以在快速回复与稳定正确间取得平衡。几位发言者举出其他功能（例如折扣码批量添加）的案例，说明 AI 回答可能因上下文理解不足而变化无常。综合各方意见，大家皆认为技术文档应创建在真实测试与谨慎编撰的基础上，而不能仅依赖偶尔会产生幻想答案的机器人助手。
https://news.ycombinator.com/item?id=44507244