¿Qué es la gestión de datos?

La gestión de datos es la práctica de recopilar, mantener y utilizar los datos de forma segura, eficiente y rentable. El objetivo de la gestión de datos es ayudar a las personas, las organizaciones y los objetos conectados a optimizar el uso de los datos dentro de los límites de la política y los reglamentos para que puedan tomar decisiones y emprender acciones que maximicen el beneficio para la organización. Una estrategia de gestión de datos robusta es más importante que nunca, ahora que las organizaciones confían cada vez más en activos intangibles para crear valor.

La gestión de datos digitales en una organización implica una amplia variedad de tareas, políticas, procedimientos y prácticas. El trabajo de la gestión de datos tiene un amplio alcance, que abarca factores como la forma de

• Crear datos en un nivel de datos diverso, acceder a ellos y actualizarlos
• Almacenar datos en varias nubes y on-premises
• Proporcionar alta disponibilidad y recuperación ante desastres
• Usar los datos en una variedad cada vez mayor de aplicaciones, análisis y algoritmos
• Garantizar la privacidad y la seguridad de los datos
• Archivar y destruir los datos de acuerdo con los programas de retención y los requisitos de cumplimiento

Una estrategia formal de gestión de los datos aborda la actividad de los usuarios y administradores, las funcionalidades de las tecnologías de gestión de datos, las demandas de los requisitos reglamentarios y las necesidades de la organización de obtener valor de sus datos.

Los sistemas de gestión de datos de hoy en día

Las organizaciones de hoy en día necesitan una solución de gestión de datos que proporcione una forma eficaz de administrar los datos en un nivel de datos diverso pero unificado. Los sistemas de gestión de datos se basan en plataformas de gestión de datos y pueden incluir bases de datos, data lakes y almacenes, sistemas de gestión de big data y analítica de datos, entre otras cosas.

Todos estos componentes funcionan juntos como una “utilidad de datos” para ofrecer las funciones de gestión de datos que una organización necesita para sus aplicaciones, y los análisis y algoritmos que utilizan los datos originados por esas aplicaciones. Aunque las herramientas actuales ayudan a los administradores de bases de datos (DBA) a automatizar muchas de las tareas de gestión tradicionales, la intervención manual todavía suele ser necesaria debido al tamaño y la complejidad de la mayoría de las implementaciones de bases de datos. Siempre que se requiere la intervención manual, aumenta la posibilidad de que se produzcan errores. Reducir la necesidad de administración manual de los datos es un objetivo clave de una nueva tecnología de gestión de datos, la base de datos autónoma.

Sistemas de gestión de big data

En cierto sentido, big data es lo que su nombre indica: muchísimos datos. Pero el big data adopta también formatos más variados que los datos tradicionales, que se recopilan a gran velocidad. Pensemos en todos los datos que se crean todos los días, o cada minuto, en una red social como Facebook. La cantidad, la variedad y la velocidad de esos datos son lo que los hacen tan valiosos para las empresas, pero también tan difíciles de administrar.

A medida que se recopilan más y más datos de fuentes tan dispares como cámaras de video, redes sociales, grabaciones de audio y dispositivos de Internet of Things (IoT), aparecen nuevos sistemas de gestión de big data. Estos sistemas se especializan en tres áreas generales.

• La integración de big data incorpora diferentes tipos de datos —desde lotes hasta streaming—, y los transforma para que se puedan utilizar.
• La gestión de big data almacena y procesa los datos en un data lake o almacén de datos de forma más eficiente, segura y fiable, a menudo mediante el uso del almacenamiento de objetos.
• El análisis de big data descubre nuevos conocimientos gracias a la analítica, y utiliza el aprendizaje automático y las visualizaciones de IA para crear modelos.

Las empresas utilizan el big data para mejorar y acelerar el desarrollo de productos, el mantenimiento predictivo, la experiencia del cliente, la seguridad y la eficiencia operativa, entre otras cosas. Las oportunidades aumentan al ritmo en que lo hace el big data.

Desafíos de la gestión de datos

La mayoría de los desafíos de la gestión de datos de hoy en día provienen del ritmo más rápido de las empresas y de la creciente proliferación de datos. La variedad, velocidad y volumen de datos cada vez más mayores disponibles para las organizaciones están obligando a las empresas a buscar herramientas de gestión más eficaces para seguir el ritmo. Algunos de los principales desafíos a los que se enfrentan las organizaciones son los siguientes:

• No saben qué datos tienen. Se están recopilando y almacenando datos de un número y variedad cada vez mayor de fuentes como sensores, dispositivos inteligentes, redes sociales y cámaras de vídeo. Pero ninguno de esos datos es útil si la organización no sabe qué datos tiene, dónde están y cómo usarlos.
• Deben mantener los niveles de rendimiento a medida que aumenta el nivel de datos. Las organizaciones capturan, almacenan y usan más datos todo el tiempo. Para mantener los tiempos de respuesta pico en este nivel en expansión, las organizaciones necesitan monitorizar continuamente el tipo de preguntas que responde la base de datos y cambiar los índices a medida que cambian las consultas, sin que el rendimiento resulte afectado.
• Deben cumplir constantemente los requisitos de cumplimiento en continuo cambio. Las normativas de cumplimiento son complejas, se aplican a varias jurisdicciones y cambian constantemente. Las organizaciones deben poder revisar fácilmente sus datos e identificar todo aquello que tenga que ver con los requisitos nuevos o modificados. En concreto, la información de identificación personal (PII) debe detectarse, rastrearse y monitorizarse para cumplir las normas de privacidad globales cada vez más estrictas.
• No están seguros de cómo reutilizar los datos para darles nuevos usos. La recopilación e identificación de los datos en sí mismas no proporcionan ningún valor: las organizaciones necesitan procesarlos. Si se necesita mucho tiempo y esfuerzo para convertir los datos en lo que las organizaciones necesitan para los análisis, esos análisis no se realizarán. Por consiguiente, el valor potencial de esos datos se pierde.
• Deben mantenerse al día con los cambios en el almacenamiento de datos. En el nuevo mundo de la gestión de datos, las organizaciones almacenan datos en diferentes sistemas, incluidos almacenes de datos y data lakes no estructurados que almacenan cualquier dato en cualquier formato en un único repositorio. Los científicos de datos de una organización necesitan una manera de transformar rápida y fácilmente los datos de su formato original en una forma, formato o modelo que permita realizar una gran variedad de análisis.

Mejores prácticas de la gestión de datos

Para abordar los desafíos de la gestión de datos se requiere un conjunto completo y elaborado de mejores prácticas. Aunque las mejores prácticas específicas varían según el tipo de datos involucrado y la industria, las siguientes mejores prácticas abordan los principales desafíos de gestión de datos a los que se enfrentan las organizaciones hoy en día:

• Cree una capa de detección para identificar sus datos. Una capa de detección sobre la capa de datos de su organización permite a los analistas y científicos de datos buscar y examinar conjuntos de datos para hacerlos "utilizables".
• Desarrolle un entorno de ciencia de datos para reutilizar eficientemente sus datos. Un entorno de ciencia de datos automatiza la mayor parte posible del trabajo de transformación de datos, simplificando la creación y evaluación de modelos de datos. Un conjunto de herramientas que elimine la necesidad de la transformación manual de los datos puede acelerar la formulación de hipótesis y la comprobación de los nuevos modelos.
• Utilice la tecnología autónoma para mantener los niveles de rendimiento en su capa de datos en expansión. Las funciones autónomas de los datos utilizan la inteligencia artificial y el aprendizaje automático para monitorizar continuamente las consultas de la base de datos y optimizar los índices a medida que cambian las consultas. Esto permite que la base de datos mantenga tiempos de respuesta rápidos y libera a los DBA y científicos de datos de las tareas manuales que requieren mucho tiempo.
• Utilice la detección para estar al tanto de los requisitos de cumplimiento. Las nuevas herramientas utilizan la detección de datos para revisar los datos e identificar las cadenas de conexión que deben detectarse, rastrearse y monitorizarse para el cumplimiento en distintas jurisdicciones. A medida que aumenten las demandas de cumplimiento a escala mundial, esta capacidad será cada vez más importante para los responsables del riesgo y la seguridad.
• Utilice una capa de consulta común para administrar múltiples y diversas formas de almacenamiento de datos. Las nuevas tecnologías permiten que los repositorios de gestión de datos funcionen juntos, difuminando las diferencias entre ellos. Una capa de consulta común que abarque la infinidad de tipos de almacenamiento de datos permite a los científicos de datos, analistas y aplicaciones acceder a los datos sin necesidad de saber dónde están almacenados y sin necesidad de transformarlos manualmente en un formato utilizable.

La gestión de datos evoluciona

Con el nuevo rol de los datos como capital de la empresa, las organizaciones están descubriendo lo que las startups y los disruptores digitales ya saben: los datos son un activo valioso para identificar tendencias, tomar decisiones y actuar ante los competidores. La nueva posición de los datos en la cadena de valor está obligando a las organizaciones a buscar activamente mejores formas de obtener valor de este nuevo capital.

Dentro de las empresas, las responsabilidades de gestión de datos del DBA también están evolucionando, reduciéndose el número de tareas mundanas para que los DBA pueden dedicarse a temas más estratégicos y a proporcionar soporte de gestión de datos crítico en entornos de nube, lo que implica iniciativas clave tales como el modelado de datos y la seguridad de los datos.