Los mayores dicen que esta cosa de charlar y presumir es muy divertida
El autor comparte su experiencia al preguntar a un robot de documentación impulsado por un modelo de lenguaje grande (LLM, Large Language Model) desarrollado por Shopify sobre sintaxis de Liquid al actualizar los plantillas de notificaciones de Shopify. Quería detectar si un pedido contenía artículos enviados a través de Shopify Collective, por lo que el robot respondió rápidamente con código que verificaba si "Shopify Collective" estaba en order.tags. Sin embargo, el código, aunque aparentemente correcto, no funcionó como se esperaba en la prueba, ya que la etiqueta no estaba presente al generar la notificación, sino que se agregaba más tarde en un proceso misterioso de Shopify.
Pruebas adicionales revelaron que la etiqueta "Shopify Collective" no existía al enviar el correo de confirmación del pedido, por lo que la respuesta del robot no solo fue ineficaz, sino que también mostró un problema: el robot había hecho una suposición ligera basada en datos de documentación por defecto, ignorando la secuencia de procesos reales. El autor cuestiona si, al adoptar este enfoque casual, los robots de documentación podrían causar errores más costosos que los beneficios de veces proporcionar información precisa.
Varios desarrolladores también compartieron preocupaciones similares, pensando que si los robots de IA generan respuestas basándose solo en intuición, su inestabilidad podría llevar a usuarios a tomar decisiones incorrectas. Algunos señalaron que, al enfrentar problemas técnicos, las respuestas incorrectas de la documentación son más frustrantes que no recibir ninguna respuesta; incluso se comparó con vendedores que responden preguntas técnicas de manera desviada e irrelevante. Algunos participantes enfatizaron que, en situaciones que requieren operaciones precisas, la documentación oficial, construida por experiencia acumulada, sigue siendo más confiable.
Además, se mencionó que incluso con sistemas como RAG (Retrieval-Augmented Generation, tecnología híbrida de búsqueda y generación), es difícil equilibrar respuestas rápidas con estabilidad y precisión. Varios participantes citaron ejemplos de otras funcionalidades (como el agregado en batch de códigos de descuento) para ilustrar cómo las respuestas de IA pueden variar de forma impredecible debido a una comprensión insuficiente del contexto. En general, todos coincidieron en que los documentos técnicos deben basarse en pruebas reales y redacción cuidadosa, y no solo en asistentes de máquinas que a veces generan respuestas ilusorias.
https://news.ycombinator.com/item?id=44507244