Calidad en aplicaciones de datos masivos
El objetivo clave del proyecto DICE (Developing Data-Intensive Cloud Applications with Iterative Quality Enhancements) financiado con fondos europeos es enfrentarse a la carencia de aptitudes y a las curvas de aprendizaje en el desarrollo de las aplicaciones de datos masivos, y reducir el plazo de comercialización de las aplicaciones que cumplen los requisitos de calidad. Mediante el desarrollo de herramientas y métodos nuevos e innovadores, el proyecto tiene por objeto reforzar la competitividad de los distribuidores de software independientes europeos en el ámbito de las aplicaciones de datos masivos esenciales para las empresas. Desde entonces, se han lanzado una versión de código libre, así como dos productos comerciales, con el objetivo de garantizar que los beneficios de DICE continúen mucho después de que el proyecto haya finalizado. Exigencias del uso intensivo de datos La difusión global de teléfonos inteligentes, el mayor uso de sensores en sectores como la automoción y la seguridad, y la avalancha de contenido en redes sociales que se carga cada día significan que el mundo está nadando en datos. La extracción de información utilizable de este torbellino puede ayudar a las empresas a comprender mejor a su público objetivo y a identificar nuevas tendencias, pero esto sigue sin ser fácil. «Las organizaciones que desean beneficiarse de los datos masivos deben, en primer lugar, diseñar sistemas informáticos capaces de procesar y analizar la información que necesitan», explica el coordinador del proyecto DICE, el doctor Giuliano Casale, del Imperial College London, en el Reino Unido. «Aunque están surgiendo nuevas formas de diseñar, organizar y utilizar las aplicaciones de datos masivos en el mercado, muchas empresas tecnológicas de nueva creación no disponen de las herramientas para desarrollar adecuadamente sistemas de software personalizados de datos masivos ni para integrar totalmente las tecnología de análisis de datos masivos en los productos existentes». Esta limitación es importante, afirma el doctor Casale, porque con las prisas por sacar partido del lucrativo mercado de los datos masivos, algunas empresas tecnológicas no han prestado suficiente atención a este importante aspecto relacionado con la calidad. Además, como la ingeniería de calidad de los sistemas de software con uso intensivo de datos todavía está en su fase incipiente, predecir y garantizar un servicio de calidad en los sistemas de software de datos masivos es extremadamente difícil. Análisis metódico de los datos El proyecto DICE abordó este reto creando un conjunto de catorce herramientas para respaldar –con un alto nivel de automatización– actividades básicas en el desarrollo de aplicaciones de datos masivos, como la evaluación de calidad del software, la mejora de la arquitectura del software y la entrega a la nube. Todas las herramientas se han organizado siguiendo una metodología coherente, inspirada en los principios de un paradigma emergente de entrega de software conocido como DevOps. «Hasta la fecha, existía una carencia de métodos para expresar los requisitos de calidad», explica el doctor Casale. «Lo que hicimos fue definir una metodología integrada desde el diseño hasta el funcionamiento que hace frente a estas limitaciones. Efectivamente, este es el primer entorno de desarrollo orientado a la calidad para aplicaciones de datos masivos». Las evaluaciones de la metodología DICE, así como la aplicación de las herramientas, se efectuaron después en tres planes piloto de procesamiento de datos: el análisis de datos de redes sociales, el procesamiento por lotes de la detección del fraude fiscal y la gestión basada en la nube de operaciones portuarias en tiempo real. «Los resultados preliminares indican un aumento sustancial de la productividad gracias a DICE, especialmente por lo que respecta a la reducción de los tiempos de entrega y de configuración de nuevas aplicaciones de datos masivos,» afirma el doctor Casale. «El marco DICE también ha podido identificar varias infracciones y antipatrones en los diseños de aplicación, así como reducir sistemáticamente los tiempos manuales de prueba y evaluación». En el sitio web del proyecto hay disponible una versión de código libre del marco DICE para desarrolladores. Además, el marco DICE se ha reempaquetado y personalizado en dos productos personalizados: DICE Velocity y DICE BatchPro. DICE Velocity se adapta a las necesidades de las empresas que desarrollan aplicaciones basadas en la tecnología de procesamiento de flujos, mientras que DICE BatchPro tiene por objeto ayudar a las empresas a configurar e implementar fácilmente el procesamiento rentable de los lotes de datos.
Palabras clave
DICE, TIC, datos masivos, procesamiento de datos, nube, DevOps, redes sociales, procesamiento de flujos