Un grupo de investigadores del MIT ha desarrollado un innovador sistema diseñado para optimizar la eficiencia de los centros de datos, mejorando el rendimiento del hardware de almacenamiento flash. Este avance es crucial, ya que a menudo se agrupan múltiples dispositivos de almacenamiento en red para que diversas aplicaciones puedan compartirlos, pero la capacidad de estos dispositivos permanece subutilizada debido a la variabilidad en su rendimiento.
La nueva solución aborda simultáneamente tres fuentes principales de variabilidad, lo que permite lograr mejoras significativas en velocidad en comparación con los métodos tradicionales que solo abordan un problema a la vez. El sistema implementa una arquitectura de dos niveles: un controlador central toma decisiones estratégicas sobre las tareas asignadas a cada dispositivo de almacenamiento, mientras que controladores locales se encargan de redirigir rápidamente los datos si un dispositivo presenta dificultades.
Estrategia adaptativa y resultados prometedores
Este método no requiere hardware especializado y se adapta en tiempo real a las cargas de trabajo cambiantes. En pruebas realizadas con tareas como el entrenamiento de modelos de inteligencia artificial y la compresión de imágenes, el sistema logró casi duplicar el rendimiento comparado con enfoques convencionales. Al equilibrar inteligentemente las cargas entre varios dispositivos, se incrementa la eficiencia general del centro de datos.
Gohar Chaudhry, estudiante graduado en ingeniería eléctrica y ciencias computacionales y autor principal del estudio, enfatiza: “Hay una tendencia a querer aumentar los recursos para resolver problemas, pero eso no es sostenible. Nuestro objetivo es maximizar la longevidad de estos costosos recursos”. Junto a Chaudhry, colaboran Ankit Bhardwaj, profesor asistente en la Universidad Tufts; Zhenyuan Ruan; y Adam Belay, profesor asociado en EECS y miembro del Laboratorio de Ciencias Computacionales e Inteligencia Artificial del MIT. La investigación será presentada en el Simposio USENIX sobre Diseño e Implementación de Sistemas en Red.
Desbloqueando el potencial del almacenamiento SSD
Los discos duros sólidos (SSD) son dispositivos digitales que permiten un alto rendimiento en operaciones de lectura y escritura. Sin embargo, aunque agrupar varios SSD mejora la eficiencia al permitir que múltiples aplicaciones compartan recursos, no todos los dispositivos rinden igual. Esto significa que el más lento puede limitar el rendimiento total del grupo.
Para abordar esta problemática, los investigadores han creado Sandook, un sistema basado en software que gestiona tres tipos principales de variabilidad que afectan al rendimiento. El término "Sandook" proviene del urdu y significa “caja”, simbolizando así su función como sistema de almacenamiento.
Las variabilidades incluyen diferencias en la antigüedad y desgaste entre SSDs adquiridos por separado; desajustes entre operaciones de lectura y escritura; y procesos aleatorios como la recolección de basura que interrumpen las operaciones normales. “No puedo asumir que todos los SSD se comportarán igual durante todo su ciclo operativo”, explica Chaudhry.
Manejo eficiente mediante una estructura jerárquica
El sistema Sandook utiliza una estructura jerárquica donde un programador global optimiza la distribución general de tareas mientras que programadores locales gestionan eventos urgentes. Esta estrategia permite rotar qué SSD utiliza cada aplicación para lecturas y escrituras, minimizando así interferencias.
A través del perfilado del rendimiento típico de cada SSD, Sandook puede identificar cuándo la recolección de basura está ralentizando las operaciones y ajustar las cargas adecuadamente hasta que se complete este proceso. En pruebas con diez SSDs realizando diversas tareas, Sandook aumentó el rendimiento entre un 12% y un 94% respecto a métodos estáticos y mejoró la utilización general del almacenamiento en un 23%. Además, permitió alcanzar hasta el 95% del rendimiento máximo teórico sin necesidad de hardware especializado.
De cara al futuro, los investigadores planean incorporar nuevos protocolos disponibles en los últimos modelos de SSDs para ofrecer mayor control sobre la colocación de datos y aprovechar la predictibilidad inherente a las cargas laborales basadas en inteligencia artificial.
Josh Fried, ingeniero software en Google y futuro profesor asistente en la Universidad de Pensilvania destaca: “Este trabajo avanza significativamente hacia una solución práctica lista para implementación”. La investigación cuenta con financiamiento parcial por parte de entidades como la Nacional Science Foundation, Defense Advanced Research Projects Agency, y Semiconductor Research Corporation.
Preguntas sobre la noticia
¿Qué es Sandook y cómo mejora la eficiencia de los centros de datos?
Sandook es un sistema desarrollado por investigadores del MIT que mejora la eficiencia de los dispositivos de almacenamiento en centros de datos al equilibrar inteligentemente las cargas de trabajo. Utiliza una arquitectura de dos niveles para optimizar la distribución de tareas y reaccionar rápidamente a problemas en los dispositivos de almacenamiento.
¿Cuáles son las principales fuentes de variabilidad que aborda Sandook?
Sandook aborda tres fuentes principales de variabilidad: diferencias en la edad y el desgaste de los SSD, el desajuste entre operaciones de lectura y escritura en el mismo SSD, y la recolección de basura que puede ralentizar las operaciones. El sistema gestiona estas variabilidades simultáneamente para mejorar el rendimiento general.
¿Qué mejoras se lograron al probar Sandook en comparación con métodos tradicionales?
Las pruebas realizadas con Sandook mostraron mejoras significativas en el rendimiento, aumentando el rendimiento entre un 12% y un 94% en diferentes tareas, así como una mejora del 23% en la utilización general de la capacidad de los SSD en comparación con métodos estáticos.
Si (
No(
