Categories: Innovación

Microsoft presenta Phi-2, su IA para competir con Llama 2 y Gemini

En los últimos meses el equipo de Machine Learning Foundations de Microsoft Research ha lanzado una serie de modelos de lenguaje pequeños (SLMs) llamados “Phi”, que han logrado un rendimiento notable en diversas pruebas.

Tras Phi-1, que alcanzó un rendimiento líder en codificación en Python, y Phi-1.5, que destacó en razonamiento de sentido común y comprensión del lenguaje,Microsoft acaba de presentars Phi-2, un modelo de lenguaje con 2.700 millones de parámetros que demuestra un destacado razonamiento y comprensión del lenguaje.

Innovaciones clave

El aumento masivo en el tamaño de los modelos de lenguaje ha desbloqueado capacidades emergentes, redefiniendo el procesamiento del lenguaje natural. La pregunta clave es si se pueden lograr habilidades emergentes a una escala menor mediante elecciones estratégicas en la formación, como la selección de datos.

Con los modelos Phi en Microsoft se ha buscado responder a esta pregunta, logrando un rendimiento comparable a modelos de mayor escala. Los dos principales enfoques para romper con las leyes convencionales de escala de modelos de lenguaje con Phi-2 son:

  • Calidad de datos de entrenamiento: La calidad de los datos de entrenamiento desempeña un papel crucial en el rendimiento del modelo. En Microsoft se han centrado en datos de “calidad de libro de texto”, utilizando conjuntos de datos sintéticos creados específicamente para enseñar al modelo razonamiento de sentido común y conocimientos generales. Además se ha aumentado el corpus de entrenamiento con datos web seleccionados cuidadosamente en función de su valor educativo y calidad de contenido.
  • Transferencia de conocimiento a Escala: Mediante técnicas innovadoras se ha escalado desde el anterior modelo Phi-1.5 de 1.300 millones de parámetros, incrustando su conocimiento en Phi-2 con 2.700 millones de parámetros. Esta transferencia de conocimiento no solo acelera la convergencia del entrenamiento sino que también mejora claramente las puntuaciones de Phi-2 en las pruebas.
Detalles del entrenamiento

Phi-2 es un modelo basado en Transformer con un objetivo de predicción de la siguiente palabra, entrenado en 1,4 billones de tokens de pases múltiples en conjuntos de datos sintéticos y web para NLP y codificación. El entrenamiento de Phi-2 se llevó a cabo en 96 GPUs A100 durante 14 días. A pesar de no haber sido alineado a través de aprendizaje por refuerzo de retroalimentación humana (RLHF) ni haber sido afinado mediante instrucciones, se ha observado un comportamiento más favorable en términos de toxicidad y sesgo en comparación con modelos de código abierto existentes que sí pasaron por el alineamiento.

Phi-2 ha superado el rendimiento de modelos más grandes en diversos benchmarks, incluyendo Mistral y Llama-2. A pesar de tener solo 2.700 millones de parámetros supera el rendimiento de modelos más grandes hasta 25 veces en tareas complejas como codificación y matemáticas. Además, Phi-2 se compara favorablemente con el recientemente anunciado Google Gemini Nano 2, a pesar de su menor tamaño.

Antonio Rentero

Recent Posts

Globant introduce un modelo de suscripción para servicios potenciados por IA

AI Pods tiene un enfoque agnóstico y da acceso a la tecnología de inteligencia artificial…

17 horas ago

ABB adquiere una participación en la española HESStec

HESStec es una compañía especializada en renovables, con sistemas de almacenamiento de energía híbridos y…

18 horas ago

Celonis mira hacia el futuro con la inteligencia artificial agéntica

Propone la suite de herramientas, integraciones y asociaciones para agentes AgentC, que permite realizar desarrollos…

20 horas ago

El uso de IA en las solicitudes de empleo está ralentizando el proceso de selección

Un 59 % de los profesionales que buscan trabajo ha usado recientemente herramientas de automatización…

21 horas ago

Orange propone un servicio para gestionar la red empresarial

Observabilidad Global y Automatización ha sido desarrollado en colaboración con Viewtinet y permite diagnosticar incidencias.

21 horas ago

Los Centros de Valor de T-Systems en España alcanzan los 1.000 empleados

La división de servicios de digitalización del Grupo Deutsche Telekom espera incrementar esta cifra en…

22 horas ago