«Un avión de última generación puede generar más de 500 GB de datos en un único vuelo»
«Seguimos inmersos en una economía industrial, pero todo apunta a una transición hacia una economía basada en procesos digitales»
«Lo que antaño se denominaba Business Intelligence empieza a converger con el fenómeno del BigData gracias a la confluencia de diversas tendencias»
El poder transformador de los datos es posiblemente el motor más importante de desarrollo de los modelos de las ciudades inteligentes. Donde antes se trabajaba con procedimientos analógicos, ahora se trabaja con procedimientos digitales. La información ya no se obtiene a partir de la observación y el análisis, sino que se destila a partir de los datos y la analítica. La realidad ya no se mira con los ojos, sino que se cuantifica con los sensores, y lo que percibimos de los procesos en entornos urbanos, industriales, financieros o incluso sanitarios ya no son los procesos y los eventos en sí mismos, sino su representación digital a partir de los datos capturados por los sensores y otros sistemas de digitalización de la realidad.
Los datos han existido desde tiempo inmemorial. Pero el mero hecho de capturar esos datos mediante procedimientos manuales ya ofrecía un cierto grado de estructuración a los mismos. Los trabajos dedicados a pasar los datos provenientes de formularios rellenados a mano tuvieron su época dorada, y los grabadores de datos tuvieron trabajo durante muchos años. Las bases de datos estaban desde su origen estructuradas y diseñadas con una semántica definida en el momento de su diseño. La cantidad de datos obtenida mediante procedimientos manuales no es desdeñable y se diseñaron sistemas para su procesamiento de grandes magnitudes. Con el tiempo, los datos provenientes de actividades humanas se han conseguido capturar mediante sistemas de digitalización de formularios, al tiempo que se han sumado a estos los datos provenientes de la interacción entre las personas y las máquinas, así como los provenientes de las máquinas. En este último caso, entramos en la era del Internet de las Cosas (IoT), donde los datos ya no están estructurados. Hay sensores que miden ruido, temperatura, la calidad del aire, las pulsaciones de los individuos, y la semántica de los sistemas de datos ya no está tan clara, ni la estructura de los mismos. Con el reto de tener que diseñar sistemas que permitan extraer información del tipo “con niveles de contaminación altos, las pulsaciones medias de las personas que realizan una actividad deportiva suben un 10%”, pongamos por caso. Big Data es el nombre con el que se resumen todos estos cambios, tanto en el volumen como en la variedad como en la velocidad con la que se generan los datos. Sin ir más lejos, un avión de última generación puede generar más de 500 GB de datos en un único vuelo.
La transformación de las empresas
Las compañías especializadas en el trabajo de extraer información a partir de los datos han tenido que adaptarse a este proceso de digitalización de los procesos. Oracle, IBM, SAP o Teradata tienen un papel protagonista en esta tarea de procesamiento de los datos, que en última instancia es esencial para dar consistencia al componente ‘smart’, ya sea de un proceso industrial o de una ciudad. Las compañías energéticas, o las de comunicaciones e infraestructuras, cuentan con sistemas de analítica de datos provenientes de estas compañías.
El caso de Teradata es especialmente interesante, con una trayectoria marcada tanto por la definición y concreción de las tendencias en procesamiento de datos como por la adaptación a los cambios tecnológicos que van dibujando las hojas de ruta de la innovación. Y precisamente Teradata, una compañía especializada en centros de datos, Business Intelligence, analítica de datos y Big Data, con las últimas novedades en su repertorio de soluciones y productos, consolida su papel como referente en la gestión de los datos: la nueva versión de su software Teradata Database está preparada para sacar el máximo partido de sus equipos Active Enterprise Data Warehouse, al tiempo que refina su Arquitectura Unificada de Datos (UDA).
La presentación en sociedad de sus novedades y su estrategia para los próximos meses tuvo lugar en el marco de la edición europea de su conferencia Teradata Universe, en Praga, del 6 al 9 de abril. En esta 19ª edición congregó a más de 1.000 profesionales de sectores tan diversos como marketing, finanzas, sector público, seguros, logística, retail, comunicaciones, transportes y sanidad, entre otros. Sectores que en muchos casos están detrás de la construcción de las ciudades inteligentes.
Los datos se han convertido en una parte integrante de la economía digital. Seguimos inmersos en una economía industrial, pero todo apunta a una transición hacia una economía basada en procesos digitales; y la materia prima a partir de la cual se construyen estos procesos, son los datos. Lo que antaño se denominaba Business Intelligence empieza a converger con el fenómeno del BigData gracias a la confluencia de diversas tendencias. Por un lado, las tecnologías digitales y de comunicaciones hacen mucho más rápido, sencillo y barato generar datos, a ritmos crecientes de un modo exponencial. Por otro, los equipos y sistemas encargados de procesar datos, aumentan en rendimiento y velocidad con cada nueva iteración evolutiva, sea en el apartado de los microprocesadores, el almacenamiento o la memoria. En otro orden de cosas, las compañías empiezan a valorar y a monetizar el uso de los datos en el contexto de su análisis, hasta el punto de suponer una ventaja competitiva relevante de cara a obtener nuevos clientes, mantener los que ya se tengan, o explorar nuevas áreas de desarrollo e investigación en un mundo en constante cambio.
Los campos de aplicación se diversifican a medida que se añaden nuevas fuentes de datos provenientes de orígenes tan diversos como las redes sociales en el contexto del Marketing, sensores en el contexto del Internet de las Cosas, medidores inteligentes de consumo energético o incluso sensores en el contexto de la fabricación y producción industrial. Y a medida que los datos se diversifican tanto en su procedencia como en su estructura (o su ausencia de estructura) Teradata ofrece soluciones para analítica de datos desde la perspectiva de la unificación. La arquitectura unificada de datos (UDA o Unified Data Architecture) es la interpretación de Teradata del concepto de Logical Data Warehouse (LDW) aunque sin renunciar a la experiencia adquirida durante décadas acerca de los Enterprise Data Warehouse (EDW). UDA engloba diferentes plataformas como Data Lake, la plataforma de Data Discovery e IDW (Integrated Data Warehouse). De este modo, es posible trabajar en aplicaciones de Big Data y ofrecer soluciones acordes con lo que demandan las compañías en la actualidad. Hermann Wimmer, presidente de Teradata, ofrecía en su presentación diferentes definiciones de Big Data, tanto desde la perspectiva tecnológica (“un conjunto de tecnologías que posibilitan el almacenamiento y el análisis de grandes conjuntos de datos”), como la funcional (“Big Data permite a las organizaciones la gestión de todos sus datos”), o la filosófica (“Big Data convierte a los datos y la analítica en elementos fundamentales para la competitividad”). Realmente Big Data es un concepto que se maneja de un modo relativamente amplio que describe un fenómeno que no es más que un efecto colateral de la digitalización de todos los aspectos de nuestra vida. La digitalización convierte entidades analógicas en datos que se pueden usar “tan solo” para reconstruir la señal analógica o para procesarlos mediante tecnologías basadas en sistemas de microprocesadores con el fin de obtener un resultado. Cuando las tecnologías de procesamiento de datos añaden una capa semántica sobre ellos, entra en juego la analítica para extraer información.
La respuesta a las tendencias de mercado
Teradata tiene más de 35 años de experiencia en el mundo de la analítica de datos, apostando por la modalidad de ‘appliances’ que integran software y hardware de un modo óptimo. Es, ante todo, una empresa de ingeniería y, como tal, diseña sus sistemas de modo que se diferencien precisamente por esta faceta: por la adopción de tecnologías y soluciones a la medida de las necesidades que se necesitan satisfacer. Las soluciones presentadas en sociedad en la convención anual de Praga son precisamente la respuesta desde el punto de vista de la ingeniería a las tendencias del mercado, que en el momento presente se centran sobre todo en el ‘Logical Data Warehouse’ que engloba múltiples sistemas, técnicas analíticas, lenguajes de programación y datos de diversos tipos. Teradata 15 hace posible, en su dimensión tecnológica de base de datos, extender las posibilidades de los sistemas, al tiempo que nuevos productos de software como Teradata QueryGrid hacen posible manejar los recursos derivados de UDA, la arquitectura unificada de datos de Teradata (según Gartner, UDA es el soporte para el Logical Data Warehouse), con acceso a datos procedentes de entornos Hadoop, por ejemplo. Ahora es posible manejar fuentes de datos multiestructurados y dinámicos a partir de JSON o XML, así como manejar no sólo SQL, sino también Java, Perl, Ruby, Python o R. También se añade la representación 3D a partir de la integración de la ‘coordenada Z’, que abre las puertas al análisis de nuevas variables en mercados como el de las telecomunicaciones, los seguros o las prospecciones energéticas. No hay que olvidar que la visualización de datos es un componente esencial dentro de la implementación del Logical Data Warehouse, donde es conveniente y deseable extraer información de una forma rápida y apta para la toma de decisiones.
La joya de la corona, el EDW 6750
Fiel a su filosofía ‘appliance’, Teradata presentó también su solución Active EDW 6750, tanto para un acercamiento ‘clásico’ a la analítica de datos como para su integración en plataformas unificadas. Un Enterprise Data Warehouse con las últimas tecnologías de almacenamiento SSD, los procesadores más eficientes de Intel, así como la gestión inteligente de la RAM. La tendencia en otros fabricantes y compañías dedicadas al desarrollo de sistemas de bases de datos es la de adoptar el procesamiento de datos en memoria. Pero únicamente se trata de una solución óptima cuando se trabaja con conjuntos de datos relativamente pequeños. Teradata trabaja con conjuntos de datos muy grandes, incompatibles desde un punto de vista económico con el procesamiento en memoria, por lo que ha desarrollado una solución de ingeniería capaz de llevar a la memoria sólo aquellos datos que son relevantes para el procesamiento analítico. Basado en algoritmos capaces de medir ‘la temperatura’ de los datos, Teradata es capaz de obtener rendimientos excepcionales sin necesidad de trabajar con todos los datos en la memoria de los sistemas. Según sus estudios, el 90% de las operaciones de entrada/salida dependen de un 20% de los datos. La complicación está en el carácter dinámico de ese 20%, por lo que Teradata ha tenido que desarrollar algoritmos capaces de mover los datos desde y hacia la memoria, de modo que se procesen en ella un porcentaje lo más elevado posible de los cálculos. De hecho, en un reciente ‘benchmark’ trabajando con cantidades de datos del orden del Petabyte, se consiguió un excelente resultado: el 95% de las operaciones de entrada/salida se realizaron desde la memoria, aún con un dimensionamiento del hardware mucho más modesto que los sistemas que se basan en tecnologías puramente ‘in memory’.
El presente son los datos; el futuro, también
En el camino hacia la economía digital, los datos ya son un componente imprescindible para su desarrollo. Las empresas que no puedan o sepan trabajar con datos están destinadas a pasar por muy malos momentos o desaparecer. Y en el contexto de las Smart Cities, los datos son también la materia prima necesaria para su construcción. Tanto en la dimensión empresarial como la personal o la social. Los datos permiten construir servicios útiles y relevantes en áreas como los transportes, la energía, las comunicaciones, la salud o también la cultura o el ocio. Las empresas que, como Teradata, están especializadas en el trabajo con los datos, tienen la responsabilidad de ofrecer sistemas lo más eficientes y óptimos como sea posible, preferiblemente con sistemas estándar y a través de la interoperabilidad con otros sistemas y tecnologías.
Soluciones más destacadas de Teradata
El almacenamiento SSD es esencial para mejorar la respuesta de los sistemas cuando trabajan con Big Data y permiten diseñar jerarquías inteligentes para el almacenamiento, en el que no necesariamente todos los datos tienen que estar en RAM.
Teradata QueryGrid
Hacia el Logical Data Warehouse corporativo
Por mucho que se ofrezcan soluciones tecnológicas para transversalizar los datos, sigue siendo necesario ofrecer herramientas capaces de poner en valor esa tecnología. Con UDA, la integración dentro de datos de diversas procedencias, almacenados en sistemas de archivos distintos, estructurados y no estructurados, es una realidad que se apoya en Terada Database 15, así como en los sistemas EDW de las nuevas series 6750 o en appliances sobre los que se montan sistemas Hortonworks o Aster Database. Pero para extraer valor de esos datos es necesario ofrecer una herramienta capaz de procesar esos datos de un modo único desde el punto de vista del usuario, o del científico de datos, o de la figura corporativa encargada de obtener información, tomar decisiones o ambas tareas a la vez.
QueryGrid es la respuesta a esta necesidad, y aunque estará disponible a partir del tercer trimestre de 2014, ha sido uno de los temas con mayor relevancia dentro de los anuncios de Teradata para estos meses.
Teradata Database 15
No sólo SQL
Otro de los protagonistas de Teradata para estos meses es Teradata Database 15. El sistema de bases de datos por excelencia de la compañía responde a las tendencias del sector añadiendo todos aquellos elementos y características que demandan las empresas que trabajan con datos. Los datos son la nueva moneda, como afirmaba Hermann Wimmer, presidente de Teradata, en su ponencia en el evento celebrado en Praga el pasado mes de abril. Y con Teradata 15 se ofrecen las herramientas para manejar fuentes de datos de distintas procedencias, así como para manejar diferentes lenguajes de programación y flexibilizar el uso de algoritmos para optimizar las tareas relacionadas con la analítica de datos. La compatibilidad con JSON abre las puertas a aplicaciones dentro del Internet de las Cosas, y se pasa de manejar sólo datos estructurados a datos multi estructurados.
Teradata Active EDW 6750
El silicio que alberga la inteligencia
Teradata apuesta por ofrecer sus soluciones de analítica de datos como un conjunto de software y hardware optimizados para funcionar con rapidez y eficiencia. Las soluciones de ingeniería de Teradata pasan por dimensionar los sistemas de almacenamiento y memoria para ofrecer soluciones realistas como la gestión inteligente de la memoria basada en métricas como la temperatura de los datos. Este acercamiento holístico supone para las empresas tener que afrontar una inversión inicial para nada desdeñable, pero a cambio se prescinde del proceso de integración y de optimización que tendría que hacerse internamente si se adquiriese el hardware por un lado y el software por otro. Tendencias como ‘cloud’ o el abaratamiento del ‘hardware’ no pueden obviarse por parte de Teradata, pero, de momento, sistemas como el Active EDW 6750 son los adecuados para introducir la analítica de datos en las grandes empresas.
El sistema EDW 6750 es escalable dependiendo de las necesidades de la compañía, y está equipado con la más reciente tecnología en procesadores Intel Xeon, memoria RAM o almacenamiento de estados sólido, híbrido y convencional dimensionados a medida.
