Google retira Octane como benchmark recomendado

En 2012 Octane entró en acción para cubrir debilidades de benchmarks existentes y, con casi dos decenas de pruebas diferentes en su haber, acabó convirtiéndose en una herramienta conocida y usada para temas de rendimiento web.

“En los primeros años después de su lanzamiento, Octane proporcionó un valor único al ecosistema VM de JavaScript”, destaca Google a través del blog de V8 JavaScript Engine.

Sin embargo, ahora la cosa parece haber cambiado. La compañía de Mountain View estima que en 2015 “la mayoría de las implementaciones de JavaScript habían implementado las optimizaciones de compilador necesarias para lograr altas puntuaciones en Octane” y dice que “la búsqueda de puntuaciones de benchmark aún más altas en Octane se tradujo en mejoras cada vez más marginales en el rendimiento de páginas web reales”.

Además, se habrían detectado efectos perjudiciales e incluso penalizaciones negativas en esas optimizaciones de mundo real.

Como consecuencia, Google ha decidido “retirar Octane como benchmark recomendado”. Sus responsables han explicado que la situación actual es distinta a la de años pasados y alegan causas como el estancamiento en cuestión de puntuaciones.

“A medida que las implementaciones de navegador web y máquina virtual empiezan a optimizarse excesivamente para casos de prueba específicos”, explican, “los propios benchmarks dejan de ser representantes efectivos para sus casos de uso originales”.