NVIDIA ha dado un paso significativo en el ámbito de la inteligencia artificial al asociarse con Mistral AI, presentando la nueva familia de modelos abiertos denominada Mistral 3. Estos modelos, que abarcan desde opciones de nivel frontera hasta versiones compactas, están optimizados para las plataformas de supercomputación y dispositivos de borde de NVIDIA, lo que permite a Mistral AI avanzar hacia su visión de una inteligencia distribuida que se extiende desde la nube hasta el borde.
El modelo Mistral Large 3 es un modelo de mezcla de expertos (MoE), lo que significa que no activa todas sus neuronas para cada token. En cambio, solo utiliza las partes del modelo que tienen un mayor impacto, logrando así una eficiencia notable que permite escalar sin desperdicio y mantener la precisión necesaria para aplicaciones empresariales.
Con un total de 41 mil millones de parámetros activos y 675 mil millones en total, el Mistral Large 3 proporciona escalabilidad y adaptabilidad para cargas de trabajo empresariales. Este modelo estará disponible en diversas plataformas, desde la nube hasta centros de datos y dispositivos periféricos, comenzando el próximo martes 2 de diciembre.
Innovaciones en IA Empresarial con Mistral AI
La combinación entre los sistemas NVIDIA GB200 NVL72 y la arquitectura MoE de Mistral AI permitirá a las empresas desplegar y escalar eficientemente modelos masivos de IA. Esto se traduce en beneficios significativos gracias al paralelismo avanzado y optimizaciones específicas del hardware.
Dicha colaboración representa un avance hacia lo que Mistral AI denomina inteligencia distribuida, cerrando la brecha entre los avances investigativos y las aplicaciones prácticas en el mundo real. La arquitectura granular MoE del modelo aprovecha al máximo los beneficios del paralelismo experto a gran escala, utilizando el dominio de memoria coherente NVLink de NVIDIA.
Además, estos beneficios se combinan con optimizaciones como NVFP4 y NVIDIA Dynamo para inferencias desagregadas, asegurando un rendimiento óptimo tanto en entrenamiento como en inferencia a gran escala. En pruebas realizadas con el GB200 NVL72, el Mistral Large 3 logró una mejora del 10x en rendimiento comparado con la generación anterior, lo que se traduce en una mejor experiencia del usuario y menores costos por token.
Liderazgo en Modelos Compactos y Accesibilidad Abierta
No solo se enfoca en modelos grandes; Mistral AI también ha lanzado nueve modelos pequeños que permiten a los desarrolladores implementar IA en cualquier lugar. La suite compacta Mistral 3 está diseñada para funcionar eficazmente en plataformas periféricas como NVIDIA Spark, PCs RTX, laptops y dispositivos NVIDIA Jetson.
A fin de maximizar el rendimiento, NVIDIA colabora con los principales marcos de IA como Llama.cpp y Ollama, facilitando así un rendimiento superior en sus GPUs en entornos periféricos. Los desarrolladores ahora pueden experimentar con la suite Mistral 3 a través de estas herramientas para lograr una IA rápida y eficiente.
La familia Mistral 3 es accesible abiertamente, lo que empodera a investigadores y desarrolladores a experimentar e innovar en IA mientras democratizan el acceso a tecnologías avanzadas. Al vincular los modelos de Mistral AI con herramientas abiertas como NVIDIA NeMo, las empresas pueden personalizar aún más estos modelos para sus casos específicos, acelerando así la transición desde prototipos hasta producción.
Eficiencia desde la Nube hasta el Borde
NVIDIA ha optimizado diversos marcos de inferencia como TensorRT-LLM y SGLang para garantizar eficiencia desde la nube hasta el borde con la familia Mistral 3. Estos modelos estarán disponibles hoy mismo en plataformas abiertas líderes y proveedores de servicios en la nube, además se espera su implementación pronto como microservicios NVIDIA NIM.
Cualquiera sea la necesidad del sector tecnológico actual o futuro, estos modelos están listos para ofrecer soluciones efectivas e innovadoras.
Si (
No(
