Gestión de datos
La gestión de datos consiste en recopilar, mantener y utilizar datos de manera segura, eficiente y rentable. El objetivo de la gestión de datos es ayudar a las personas, las organizaciones y las cosas conectadas a optimizar el uso de los datos dentro de los límites de las políticas y normativas, para que puedan tomar decisiones y tomar medidas que maximicen el beneficio para la empresa. Hoy en día es más importante que nunca disponer de una estrategia de gestión de datos sólida, ya que las organizaciones confían cada vez más en activos intangibles para crear valor.
La gestión de datos digitales en una organización abarca una amplia gama de tareas, políticas, procedimientos y prácticas. La gestión de datos tiene un amplio alcance y abarca factores como los siguientes:
- Creación, acceso y actualización de datos en diferentes niveles.
- Almacenamiento de datos en múltiples nubes y on-premises.
- Alta disponibilidad y recuperación ante desastres.
- Uso de los datos en una amplia variedad de aplicaciones, analíticas y algoritmos.
- Garantía de privacidad y seguridad para los datos.
- Archivo y destrucción de datos de acuerdo con los programas de retención y los requisitos de cumplimiento normativo.
Una estrategia formal de gestión de datos aborda la actividad de los usuarios y administradores, las funciones de las tecnologías de gestión de datos, las demandas de los requisitos normativos y las necesidades de la organización para obtener valor de sus datos.
El capital de datos es capital empresarial
En la economía digital actual, los datos son un tipo de capital, un factor económico de la producción de bienes y servicios digitales. Al igual que un fabricante de automóviles no puede fabricar un nuevo modelo si carece del capital financiero necesario, tampoco puede hacer que sus coches sean autónomos si no tiene los datos para los algoritmos de a bordo. Este nuevo rol para los datos tiene implicaciones tanto en la estrategia competitiva como en el futuro de la informática.
Debido a esta función central e imprescindible de los datos, es necesario que todas las organizaciones, independientemente de su tamaño o tipo, dispongan de prácticas y sistemas de gestión sólidos.
Más información sobre El auge del capital de datos (PDF)Los sistemas de gestión de datos en la actualidad
Hoy en día, las empresas necesitan una solución de gestión de datos que proporcione una forma eficiente de gestionar los datos en un nivel de datos diverso pero unificado. Los sistemas de gestión de datos se basan en plataformas de gestión de datos y pueden incluir bases de datos, data lakes, almacenes, sistemas de gestión de big data, analítica de datos y mucho más.
Todos estos componentes trabajan juntos como una "herramienta de datos" para suministrar las prestaciones de gestión de datos que toda empresa necesita para sus aplicaciones, así como la analítica y los algoritmos que utilizan los datos creados por esas aplicaciones. Aunque las herramientas actuales ayudan a los administradores de bases de datos (DBA) a automatizar muchas de las tareas de administración tradicionales, la intervención manual todavía suele ser necesaria debido al tamaño y la complejidad de la mayoría de implementaciones. Siempre que haya una intervención manual, aumenta la probabilidad de error. Uno de los objetivos principales de la nueva tecnología de gestión de datos, la base de datos autónoma, es reducir la necesidad de gestión manual.
Una plataforma de gestión de datos es el sistema fundamental para recopilar y analizar grandes volúmenes de datos en una organización. Las plataformas de datos comerciales suelen incluir herramientas de software para la gestión, desarrolladas por el proveedor de la base de datos o por terceros. Estas soluciones de gestión de datos ayudan a los equipos de TI y a los administradores de bases de datos (DBA) a realizar tareas habituales, como las siguientes:
- Identificar, alertar, diagnosticar y resolver errores en el sistema de base de datos o en la infraestructura subyacente.
- Asignar memoria de base de datos y recursos de almacenamiento.
- Realizar cambios en el diseño de la base de datos.
- Optimizar las respuestas a las consultas de la base de datos para agilizar el rendimiento de la aplicación.
Las plataformas de datos en la nube son cada vez más populares y permiten a las empresas realizar ampliaciones o reducciones de manera rápida y rentable. Algunas están disponibles como servicio, lo que permite a las organizaciones ahorrar todavía más.
Las bases de datos autónomas están basadas en la nube y utilizan inteligencia artificial (IA) y aprendizaje automático para automatizar muchas de las tareas de gestión de datos realizadas por los DBA, lo que incluye la administración de copias de seguridad, la protección y el ajuste del rendimiento.
También se denominan bases de datos autogestionadas y ofrecen grandes ventajas para la gestión de datos, lo que incluye:
- Menor complejidad.
- Menor probabilidad de errores humanos.
- Mayor fiabilidad y seguridad de la base de datos.
- Mejor eficiencia operativa.
- Costes más bajos.
Las plataformas de datos en la nube son cada vez más populares y permiten a las empresas realizar ampliaciones o reducciones de manera rápida y rentable. Algunas están disponibles como servicio, lo que permite a las organizaciones ahorrar todavía más.
Sistemas de gestión de big data
En realidad, big data es exactamente lo que parece: un montonazo de datos. Por otro lado, big data está disponible de muchas más maneras que los datos tradicionales y se recopila a un ritmo mayor. Piense en todos los datos que aparecen cada día, o cada minuto, en una red social como Facebook. La cantidad, la variedad y la velocidad de esos datos convierten al big data en algo muy valioso para las empresas, pero también dificultan su gestión.
El incremento en la recopilación de datos de fuentes tan dispares como las cámaras de vídeo, las redes sociales, las grabaciones de audio o el Internet of Things (IoT) ha provocado la aparición de sistemas de gestión de big data. Estos sistemas se especializan en tres áreas generales.
- La integración de big data consiste en recopilar diferentes tipos de datos (desde lotes hasta transmisión) y transformarlos para que otros los puedan usar.
- La gestión de big data consiste en almacenar y procesar datos en un data lake o almacén de datos de forma eficiente, segura y fiable, y normalmente mediante el almacenamiento de objetos.
- Durante el análisis de big data se emplea la analítica para descubrir nuevos conocimientos y se generan modelos mediante el aprendizaje automático y la visualización por IA.
Las empresas están utilizando big data para mejorar y acelerar el desarrollo de productos, el mantenimiento predictivo, la experiencia del cliente, la seguridad, la eficiencia operativa y mucho más. Cuanto más crezca big data, más oportunidades se generarán.
Los problemas en la gestión de datos
La mayoría de los problemas actuales en la gestión de datos se deriva del ritmo acelerado del mundo empresarial y la creciente proliferación de datos. La variedad, la velocidad y el volumen de los datos disponibles para las empresas son cada vez mayores, lo que exige herramientas más eficaces que estén a la altura. Estos son algunos de los principales desafíos que afrontan las organizaciones:
|
No saben qué datos tienen |
Se recopilan y almacenan datos de un número y una variedad de fuentes cada vez mayores, como sensores, dispositivos inteligentes, redes sociales y cámaras de vídeo. Sin embargo, ninguno de esos datos es útil si la empresa no sabe qué datos tiene, dónde están o cómo usarlos. |
|
Es necesario mantener los niveles de rendimiento a medida que aumenta el nivel de datos |
Las empresas están continuamente capturando, almacenando y usando cada vez más datos. Para mantener los tiempos de respuesta máximos en este nivel en expansión, las organizaciones deben supervisar continuamente el tipo de preguntas que recibe la base de datos y cambiar los índices a medida que cambian las consultas; y todo ello sin afectar negativamente al rendimiento. |
|
Deben cumplir con requisitos de cumplimiento normativo que cambian constantemente |
Las normativas son complejas, multijurisdiccionales y cambian constantemente. Las organizaciones deben poder revisar fácilmente sus datos e identificar cualquier cosa que caiga dentro de los requisitos nuevos o modificados. Es especialmente importante detectar, rastrear y supervisar los datos de identificación personal (PII, por sus siglas en inglés), a fin de cumplir con normas de privacidad globales cada vez más estrictas. |
|
No tienen claro cómo adaptar los datos para usarlos de formas distintas |
La recopilación e identificación de los datos no aporta ningún valor si esta información no se procesa. Si hace falta mucho tiempo y esfuerzo para convertir los datos en algo preparado para el análisis, ese análisis no se realizará. Como resultado, se pierde el valor potencial de los datos. |
|
Deben mantenerse al día con los cambios en el almacenamiento de datos |
En el nuevo escenario de la gestión de datos, las organizaciones almacenan datos en múltiples sistemas, lo que incluye almacenes de datos y data lakes no estructurados que guardan cualquier tipo de información, en cualquier formato y en un solo repositorio. Los data scientists de las empresas necesitan un método rápido y sencillo para transformar los datos y que pasen del formato original a la forma, el formato o el modelo necesarios para poder realizar una amplia gama de análisis. |
Principios de gestión y privacidad de datos
El Reglamento General de Protección de Datos (RGPD) promulgado por la Unión Europea y en vigor desde mayo de 2018 incluye siete principios clave para la gestión y el procesamiento de datos personales. Estos principios incluyen la legalidad, imparcialidad y transparencia, la limitación de la finalidad, la exactitud, la limitación del almacenamiento, la integridad y confidencialidad y otros.
El RGPD y otras leyes que surgieron después, como la Ley de Privacidad del Consumidor de California (CCPA), están cambiando la gestión de datos. Estos requisitos proporcionan leyes estándar de protección de datos para que las personas controlen sus datos personales y cómo se utilizan. Básicamente, convierte a los consumidores en partes interesadas con un recurso legal real al que acudir en caso de que las organizaciones no obtengan un consentimiento informado sobre la adquisición de datos, ejerzan un control deficiente sobre su uso o localización, o no cumplan con los requisitos de eliminación o portabilidad.
Mejores prácticas en la gestión de datos
Para afrontar los desafíos de la gestión de datos, es necesario disponer de un conjunto integral y bien planteado de mejores prácticas. Aunque las mejores prácticas varían según el tipo de datos y la industria, las siguientes abordan los principales desafíos de gestión de datos a los que se enfrentan las organizaciones hoy en día:
|
Crear una capa de detección para identificar los datos |
Una capa de detección que esté por encima del nivel de datos de su organización ayudará a los analistas y data scientists a buscar y explorar conjuntos de datos para hacer que sean utilizables. |
|
Desarrollar un entorno de data science para adaptar los datos con eficacia |
Un entorno de data science automatiza al máximo posible la tarea de transformación, lo que simplifica la creación y evaluación de los modelos de datos. Un conjunto de herramientas que elimina la necesidad de la transformación manual de los datos puede acelerar las hipótesis y las pruebas de nuevos modelos. |
|
Utilizar la tecnología autónoma para mantener los niveles de rendimiento en todo el nivel de datos en expansión. |
Las funciones autónomas de datos utilizan inteligencia artificial y machine learning para supervisar continuamente las consultas de la base de datos y optimizar los índices a medida que cambian las consultas. Esto permite que la base de datos mantenga tiempos de respuesta rápidos y libera a los DBA y data scientists de tareas manuales que consumen mucho tiempo. |
|
Utilizar la detección para estar al tanto de los requisitos de cumplimiento normativo |
Las nuevas herramientas utilizan la detección de datos para revisar los datos e identificar las cadenas de conexión que hay que detectar, rastrear y supervisar con el fin de cumplir normativas multijurisdiccionales. A medida que aumentan las exigencias de cumplimiento normativo a nivel mundial, esta función será cada vez más importante para los supervisores de riesgos y seguridad. |
|
Utilizar una capa de consultas común para gestionar formas múltiples y diversas de almacenamiento de datos |
Las nuevas tecnologías están fomentando la colaboración entre los repositorios de gestión de datos y logrando que las diferencias entre ellos desaparezcan. Una consulta común que abarque muchos tipos de almacenamiento de datos permite a los data scientists, los analistas y las aplicaciones acceder a los datos sin necesidad de saber dónde se almacenan y sin tener que transformarlos manualmente en un formato utilizable. |
El valor de un entorno data science
La data science es un campo interdisciplinario que utiliza métodos, procesos, algoritmos y sistemas científicos para extraer valor de los datos. Los data scientists combinan diversas habilidades, entre ellas estadística, informática y conocimiento del negocio, para analizar datos recopilados de la web, teléfonos inteligentes, clientes, sensores y otras fuentes.
La gestión de datos evoluciona
Los datos se han convertido en capital empresarial, así que las organizaciones están descubriendo lo que las startups y las empresas digitales más revolucionarias ya sabían: los datos son un activo valioso para identificar tendencias, tomar decisiones y actuar antes que la competencia. La nueva posición de los datos en la cadena de valor está llevando a las organizaciones a buscar con insistencia mejores formas de sacarle valor a este nuevo capital.
Dentro de las empresas, las responsabilidades de gestión de datos del administrador de bases de datos (DBA) también están evolucionando y la cantidad de tareas rutinarias se reduce para que los DBA pueden concentrarse en cuestiones más estratégicas y ofrecer un soporte esencial para la gestión de datos en entornos en la nube ; esto abarca iniciativas muy importantes, como modelado y seguridad de los datos.