La suposición de expansión lineal de TPU ignora la heterogeneidad del hardware y las barreras de memoria. Las técnicas paralelas necesitan un acoplamiento profundo con las optimizaciones del compilador, de lo contrario será difícil superar los cuellos de botella reales de rendimiento.
Cómo expandir modelos: análisis desde una perspectiva sistémica de la aplicación de modelos de lenguaje grande (LLMs) en la arquitectura de TPUs. Este libro explora cómo efectivamente escalar la capacidad de cálculo de modelos de aprendizaje profundo desde un solo hardware hasta miles de dispositivos, manteniendo un crecimiento lineal en el rendimiento computacional (scaling fuerte). El objetivo del libro es explicar las características de los hardware TPU y GPU, y cómo optimizar la arquitectura Transformer en hardware existente, lo cual es útil para investigadores que diseñan nuevas arquitecturas de modelos y ingenieros que optimizan el rendimiento de LLMs existentes. El libro introduce los puntos de restricción de eficiencia desde la perspectiva de cálculo, memoria y comunicación, y presenta soluciones correspondientes.
El contenido se divide en tres partes: la primera parte explica conceptos básicos, incluyendo el uso del análisis roofline, el funcionamiento de los TPUs y el método de cálculo de matrices fragmentadas (sharded matrix); la segunda parte se centra en el Transformer, profundizando en detalles matemáticos (número de parámetros y demanda de cálculo), y cómo optimizar el rendimiento de entrenamiento e inferencia del modelo mediante múltiples técnicas de paralelismo (como paralelismo de datos, paralelismo de tensores, paralelismo de pipeline y paralelismo de expertos); la tercera parte proporciona una guía práctica, mostrando cómo programar TPUs con JAX y cómo usar herramientas (como el profiler de TensorBoard) para detectar y corregir problemas reales.
Este libro finalmente espera que los lectores adquieran la capacidad de seleccionar técnicas de paralelismo y configurar modelos en plataformas de cálculo específicas, con el fin de mejorar la eficiencia del entrenamiento e inferencia de modelos Transformer grandes en hardware contemporáneo. El análisis de casos de modelos de código abierto populares como LLaMA-3 también es un punto destacado, ofreciendo orientación práctica específica, abarcando consideraciones de costo y rendimiento. Además, el libro alienta a los lectores a participar en discusiones y proporcionar retroalimentación, y el contenido se actualiza y optimiza constantemente.
https://news.ycombinator.com/item?id=42936910