LinkedIn es conocida por su desarrollo de Kafka, una plataforma de código abierto unificada, de alto rendimiento y baja latencia para manejar los feeds de datos en tiempo real.
Ahora la red social para profesionales ha presentado a la comunidad de código abierto Cruise Control, un sistema automatizado que monitoriza continuamente los clusters de servidores y ajusta automáticamente los recursos asignados a estos para cumplir con los objetivos de rendimiento.
Cruise Control y Kafka se han unido para ir de la mano. En esencia, Kafka especifica los objetivos de rendimiento y Cruise Control supervisa los clusters de servidores, analiza la carga de trabajo existente en el cluster y ejecuta automáticamente las operaciones administrativas para satisfacer esas metas.
El desarrollador de LinkedIn, Jiangjie Qin, ha explicado en un post que los servidores fallan diariamente, lo que lleva a cargas de trabajo desequilibradas en los clusters. Como resultado, los SRE gastan mucho tiempo y esfuerzo para reasignar particiones con el fin de restaurar el equilibrio a los clusters de Kafka. “La automatización inteligente es crítica en estas circunstancias, por lo que hemos desarrollado Cruise Control “, ha afirmado Qin.
La popularidad de Apache Kafka ha crecido sustancialmente durante los últimos años. De hecho, el despliegue de LinkedIn, que consta de más de 1.800 servidores, superó recientemente los 2.000 millones de mensajes por día.
La consultora también pronostica que el gasto de los usuarios finales en la nube pública…
Este dispositivo ofrece hasta 9,4 Gbps de velocidad utilizando las bandas de frecuencia de 2,4,…
El 100 % de las empresas consultadas por Palo Alto Networks ha adoptado la codificación…
Y un 49 % confiesa en un estudio de IBV que el miedo a quedarse…
El programa de la edición 2024 contará con más de setenta sesiones comandadas por expertos,…
Con una reducción media de los costes en infraestructura del 40% y de los tiempos…