RDMA para almacenamiento compatible con S3 optimiza el acceso a datos, acelerando el rendimiento de cargas de trabajo de IA y reduciendo costos, gracias a transferencias más rápidas y eficientes.
Las cargas de trabajo actuales en el ámbito de la inteligencia artificial (IA) son extremadamente exigentes en términos de datos, lo que requiere soluciones de almacenamiento más escalables y económicas que nunca. Se estima que para el año 2028, las empresas generarán casi 400 zettabytes de datos anualmente, con un asombroso 90% de estos datos siendo no estructurados, abarcando desde audio y video hasta documentos PDF e imágenes.
Esta inmensa cantidad de información, junto con la necesidad de portabilidad entre infraestructuras locales y la nube, está impulsando a la industria de la IA a explorar nuevas opciones de almacenamiento. En este contexto, surge el RDMA para almacenamiento compatible con S3, que utiliza el acceso directo a memoria remota (RDMA) para acelerar el protocolo de almacenamiento basado en la interfaz de programación de aplicaciones (API) S3, optimizándose específicamente para los datos y cargas de trabajo de IA.
El almacenamiento por objetos ha sido tradicionalmente una opción más económica para aplicaciones como archivos, copias de seguridad y registros de actividad que no requerían un rendimiento extremo. Sin embargo, algunos clientes ya están utilizando este tipo de almacenamiento para entrenar modelos de IA y buscan mejorar su rendimiento ante las demandas del acelerado mundo actual.
La solución que incorpora NVIDIA networking permite un acceso al almacenamiento por objetos más rápido y eficiente mediante RDMA para las transferencias de datos. Esto se traduce en un mayor rendimiento por terabyte almacenado, así como un consumo energético más eficiente y costos significativamente menores en comparación con TCP, el protocolo tradicional utilizado para el transporte en redes.
Entre los beneficios adicionales se incluyen:
NVIDIA ha desarrollado bibliotecas cliente y servidor RDMA para acelerar el almacenamiento por objetos. Socios del sector han integrado estas bibliotecas servidor en sus soluciones, permitiendo transferencias rápidas y eficientes para cargas laborales relacionadas con IA. Las bibliotecas cliente funcionan sobre nodos computacionales GPU dedicados a IA, lo cual permite acceder a los datos almacenados mucho más rápidamente que mediante el acceso tradicional por TCP.
A pesar de que las bibliotecas iniciales están optimizadas para GPUs NVIDIA y su red, la arquitectura es abierta; otros proveedores pueden contribuir a estas bibliotecas cliente e incorporarlas en su software. Además, tienen la posibilidad de desarrollar su propio software compatible con las APIs RDMA para almacenamiento compatible con S3.
Diversos socios clave ya están adoptando esta nueva tecnología. Compañías como Cloudian, Dell Technologies y HPE están integrando las bibliotecas RDMA en sus productos avanzados. Jon Toor, director comercial en Cloudian, afirma: “El almacenamiento por objetos es el futuro del manejo escalable de datos para IA”.
A medida que las cargas laborales continúan creciendo tanto en escala como en intensidad, las innovaciones introducidas por NVIDIA están redefiniendo cómo se mueven los datos a gran escala. La integración del RDMA promete revolucionar el acceso al almacenamiento por objetos mejorando notablemente su eficiencia.
NVIDIA prevé que sus bibliotecas RDMA estén disponibles para socios selectos pronto y se espera su lanzamiento general a través del NVIDIA CUDA Toolkit en enero próximo.