Llega el gran modelo lingüístico Fugaku-LLM

Investigadores de Fujitsu, CyberAgent, Kotoba Technologies, RIKEN, el Instituto Tecnológico de Tokio y las Universidades de Tohoku y Nagoya se han unido en torno a un proyecto conjunto: Fugaku-LLM.

Se trata de un gran modelo lingüístico con capacidad mejorada para el idioma japonés que ha sido entrenado utilizando el superordenador que le da nombre, Fugaku.

Sus creadores desarrollaron métodos de entrenamiento distribuido como la portabilidad del marco de aprendizaje profundo Megatron-DeepSpeed a Fugaku para optimizar el rendimiento de Transformers. También aceleraron la biblioteca de multiplicación de matrices densas para Transformers y la de comunicación colectiva en la interconexión D de Tofu, además de optar por distintas técnicas de paralelización.

Fugaku-LLM tiene 13 000 millones de parámetros, con una puntuación media de 5,5 en el MT-Bench japonés. El rendimiento de referencia para tareas de humanidades y ciencias sociales obtuvo 9,18 puntos.

Este gran modelo lingüístico ha aprovechado 380 000 millones de tokens empleando 13 824 nodos de Fugaku. Alrededor del 60 % de los datos de entrenamiento fueron japoneses y se combinaron con inglés, matemáticas y código.

Su código está disponible en GitHub y el modelo, en Hugging Face. Se permite su uso tanto con fines de investigación como comerciales, respetando la licencia. El objetivo es avanzar hacia “aplicaciones empresariales y de investigación innovadoras de próxima generación, como la vinculación de la simulación científica y la IA generativa, y la simulación social de comunidades virtuales con miles de IA”.