LinkedIn presenta Cruise Control a la comunidad de código abierto
Se trata de un sistema automatizado que monitoriza continuamente los clusters de servidores y ajusta los recursos asignados para cumplir con los objetivos de rendimiento.
LinkedIn es conocida por su desarrollo de Kafka, una plataforma de código abierto unificada, de alto rendimiento y baja latencia para manejar los feeds de datos en tiempo real.
Ahora la red social para profesionales ha presentado a la comunidad de código abierto Cruise Control, un sistema automatizado que monitoriza continuamente los clusters de servidores y ajusta automáticamente los recursos asignados a estos para cumplir con los objetivos de rendimiento.
Cruise Control y Kafka se han unido para ir de la mano. En esencia, Kafka especifica los objetivos de rendimiento y Cruise Control supervisa los clusters de servidores, analiza la carga de trabajo existente en el cluster y ejecuta automáticamente las operaciones administrativas para satisfacer esas metas.
El desarrollador de LinkedIn, Jiangjie Qin, ha explicado en un post que los servidores fallan diariamente, lo que lleva a cargas de trabajo desequilibradas en los clusters. Como resultado, los SRE gastan mucho tiempo y esfuerzo para reasignar particiones con el fin de restaurar el equilibrio a los clusters de Kafka. “La automatización inteligente es crítica en estas circunstancias, por lo que hemos desarrollado Cruise Control “, ha afirmado Qin.
La popularidad de Apache Kafka ha crecido sustancialmente durante los últimos años. De hecho, el despliegue de LinkedIn, que consta de más de 1.800 servidores, superó recientemente los 2.000 millones de mensajes por día.
