Los nuevos Amazon EC2 Trn3 UltraServers, con el chip de IA de 3 nm, permiten entrenar modelos de IA más rápido y a menor coste, mejorando la eficiencia y rendimiento en cargas de trabajo.
Amazon ha lanzado los nuevos EC2 Trn3 UltraServers, impulsados por el primer chip de IA de 3 nm de AWS, que prometen revolucionar la forma en que las organizaciones entrenan y despliegan modelos de inteligencia artificial (IA). Estos servidores están diseñados para ayudar a empresas de todos los tamaños a ejecutar cargas de trabajo complejas, facilitando un rendimiento superior en tareas de entrenamiento e inferencia.
Entre los aspectos más destacados de los Trainium3 UltraServers se encuentra su capacidad para ofrecer hasta 4,4 veces más rendimiento en comparación con sus predecesores, los Trainium2 UltraServers. Además, presentan una eficiencia energética cuatro veces mayor y un ancho de banda de memoria casi cuadruplicado, lo que se traduce en soluciones de IA más rápidas y económicas.
Los Trn3 UltraServers pueden escalar hasta 144 chips Trainium3, lo que permite alcanzar un rendimiento impresionante de hasta 362 PFLOPs FP8 con una latencia reducida en cuatro ocasiones. Esto facilita el entrenamiento ágil de modelos más grandes y la inferencia a gran escala. Empresas como Anthropic, Karakuri, y Splashmusic ya han comenzado a experimentar reducciones significativas en sus costos operativos, logrando disminuir hasta un 50% los gastos relacionados con el entrenamiento e inferencia.
A medida que la complejidad y tamaño de los modelos de IA continúan creciendo, también lo hacen las demandas sobre la infraestructura tecnológica. Las organizaciones enfrentan retos considerables para reducir tiempos de entrenamiento y latencias durante la inferencia. Para abordar estos desafíos, Amazon ha introducido estos servidores innovadores que democratizan el acceso a capacidades computacionales avanzadas necesarias para proyectos ambiciosos en el ámbito de la inteligencia artificial.
Los Trn3 UltraServers están diseñados específicamente para maximizar el rendimiento en tareas relacionadas con IA. Incorporan tecnologías avanzadas que permiten mejorar significativamente la velocidad y eficiencia del procesamiento. En pruebas realizadas con modelos como GPT-OSS de OpenAI, se ha demostrado que ofrecen hasta tres veces más rendimiento por chip, además de tiempos de respuesta cuatro veces más rápidos en comparación con generaciones anteriores.
El chip Trainium3 no solo mejora el rendimiento bruto; también proporciona importantes ahorros energéticos al ser un 40% más eficiente que sus predecesores. Esta eficiencia es crucial para mantener operaciones sostenibles y rentables en centros de datos dedicados a IA.
AWS ha desarrollado una infraestructura verticalmente integrada que abarca desde la arquitectura del chip hasta el software utilizado. Este enfoque elimina cuellos de botella comunes en la comunicación entre sistemas, permitiendo flujos masivos de datos necesarios para aplicaciones complejas como sistemas agénticos o modelos mixtos.
El nuevo NeuronSwitch-v1 duplica el ancho de banda dentro de cada UltraServer, mientras que la red mejorada Neuron Fabric reduce notablemente los retardos entre chips. Esta infraestructura avanzada permite crear aplicaciones capaces de responder casi instantáneamente a las solicitudes del usuario.
Diversas empresas ya están aprovechando las capacidades del Trainium3, destacándose nombres como Neto.ai, Ricoh, y otros líderes del sector tecnológico. Estas organizaciones reportan reducciones significativas en sus costos operativos gracias al uso eficiente del nuevo hardware.
AWS Bedrock, su servicio gestionado para modelos fundacionales, está utilizando Trainium3 para manejar cargas productivas a gran escala, demostrando así su viabilidad para implementaciones empresariales efectivas.
AWS no se detiene aquí; ya trabaja en **Trainium4**, diseñado para ofrecer mejoras aún más significativas en rendimiento y eficiencia. Se anticipa que este nuevo chip proporcionará al menos seis veces el rendimiento actual en procesamiento FP4 y tres veces más en FP8, junto con optimizaciones continuas tanto a nivel hardware como software.
Con estas innovaciones, Amazon busca continuar liderando el camino hacia una nueva era en la computación dedicada a IA, ofreciendo soluciones accesibles y eficientes que permitirán llevar a cabo proyectos antes considerados imposibles debido a limitaciones tecnológicas.