El análisis de Big Data llega a tu PC

La explosión de los datos, la necesidad de gestionar la información, Big Data. Son términos que se han colado en el lenguaje cotidiano. Los expertos ya están convencidos de que los términos que definirán más próximos años de la industria son Big Data y cloud computing.

Las oportunidades que generan estas dos tendencias son infinitas. Y no solo para las grandes corporaciones. Una de las más importantes características es que estas herramientas democratizan el acceso a la más alta tecnología y permiten la creación soluciones mucho más competentes a quien así lo desee.

Este es el caso en la relación entre desarrolladores y Big Data. Por ejemplo, si la intención es construir una herramienta de recomendaciones, los datos que se desprenden de redes sociales (los gustos, amigos, marcas preferidas de un usuario) serán de gran utilidad para añadir valor a la misma.

El problema tiene que ver con contar con la infraestructura necesaria (presupuesto, eficiencia energética) capaz de gestionar grandes volúmenes de información a gran velocidad. Y aquí entra en juego GraphChi, un nuevo software que exprime las capacidades de las unidades de disco duro.

Normalmente se utilizaba para el análisis el almacenamiento en la memoria RAM. “Los PCs no tienen suficiente memoria RAM para soportar toda la web gráficas”, explica uno de los responsables de la compañía desarrolladora del software a Mashable. “Y las unidades de disco duro pueden almacenar mucha información”, concluye.

Solucionado el problema de almacenamiento el inconveniente es ahora la lentitud de los procesos. Pero también hay solución. Un empleado de la compañía ha diseñado un método de acceso más rápido.

Así, el software puede analizar la actividad de Twitter en 2010 y sus 40 millones de usuarios y 1.200 millones de conexiones en apenas 59 minutos. El resultado previo que se conoce necesitó un clúster de 1.000 ordenadores y 400 minutos.