長輩都說 這玩意聊天吹牛真好玩
作者在文章中分享了自己在升級 Shopify 電子郵件通知範本時，向 Shopify 使用大型語言模型 (LLM, Large Language Model) 驅動的開發檔案機器人詢問 Liquid 語法問題的經驗。他希望檢測訂單中是否含有透過 Shopify Collective 出貨的專案，於是機器人快速回覆了一段檢查 order.tags 是否含有 "Shopify Collective" 的程式碼。然而，這段程式碼雖看似正確，實際測試卻無法符合預期，因為在通知產生時該標籤尚未被新增，只有在訂單稍後由 Shopify 的某個神秘流程中才會加上。
進一步測試發現，當訂單確認郵件傳送時，"Shopify Collective" 標籤並不存在，因此原先機器人給出的答案不僅無效，還暴露出一個問題：該機器人僅根據預設的檔案資料草率猜測，而忽略了實際工作流程中的時序問題。作者藉此質疑，若檔案機器人經常採取這種隨意應對的模式，其快速回覆帶來的錯誤代價可能遠高於偶爾提供準確資訊的效益。
討論中有不少開發者也分享了類似的疑慮，認為若 AI 機器人僅憑直覺生成答案，其不穩定性將導致使用者採取錯誤作法。有意見指出，面對技術性問題時，錯誤的檔案回應比根本沒有回應還要讓人沮喪；甚至有人將這比喻為銷售人員回答技術問題般離題且不實際。部分回應者強調，在需要精確操作的情況下，傳統由經驗累積編寫而成的官方檔案才更值得信賴。
此外，討論中也提到，即便採用類似 RAG（檢索與生成融合技術）的系統來輔助查詢，仍難以在快速回覆與穩定正確間取得平衡。幾位發言者舉出其他功能（例如折扣碼批次新增）的案例，說明 AI 回答可能因上下文理解不足而變化無常。綜合各方意見，大家皆認為技術檔案應建立在真實測試與謹慎編撰的基礎上，而不能僅依賴偶爾會產生幻想答案的機器人助手。
https://news.ycombinator.com/item?id=44507244