Gerenciamento de Dados
Gerenciamento de dados é a prática de coletar, manter e usar dados de forma segura, eficiente e econômica. O objetivo do gerenciamento de dados é ajudar pessoas, organizações e itens conectados a otimizar o uso de dados dentro dos limites da política e da regulamentação, para que possam tomar decisões e ações que maximizem o benefício para a organização. Uma estratégia robusta de gerenciamento de dados está se tornando mais importante do que nunca, já que as organizações dependem cada vez mais de ativos intangíveis para criar valor.
O gerenciamento de dados digitais em uma organização envolve uma ampla gama de tarefas, políticas, procedimentos e práticas. O trabalho de gerenciamento de dados tem um amplo escopo, abrangendo fatores como estes:
- Crie, acesse e atualize dados em uma camada de dados diversificada
- Armazene dados em várias nuvens e on-premise
- Forneça alta disponibilidade e recuperação de desastres
- Use dados em uma crescente variedade de aplicativos, análises avançadas e algoritmos
- Garanta privacidade e segurança de dados
- Arquive e destrua dados de acordo com os cronogramas de retenção e requisitos de conformidade
Uma estratégia formal de gerenciamento de dados aborda a atividade de usuários e administradores, os recursos de tecnologias de gerenciamento de dados, as exigências de requisitos regulatórios e as necessidades da organização para obter valor de seus dados.
Capital de Dados é Capital de Negócios
Na economia digital atual, os dados são uma espécie de capital, um fator econômico de produção em bens e serviços digitais. Assim como uma montadora não conseguirá fabricar um novo modelo se não tiver o capital financeiro necessário, ela não conseguirá tornar seus carros autônomos se não tiver os dados para alimentar os algoritmos integrados. Esse novo papel para os dados tem implicações para a estratégia competitiva, bem como para o futuro do processamento.
Dado esse papel central e de missão crítica de dados, práticas de gerenciamento sólidas e um sistema de gerenciamento robusto são essenciais para todas as organizações, independentemente do tamanho ou tipo.
Saiba mais sobre O Aumento do Capital de Dados (PDF)Sistemas de Gerenciamento de Dados Atuais
Atualmente, as organizações precisam de uma solução de gerenciamento de dados que forneça uma maneira eficiente de gerenciar dados em uma camada de dados diversificada, mas unificada. Os sistemas de gerenciamento de dados são criados em plataformas de gerenciamento de dados e podem incluir bancos de dados, data lakes e warehouses, sistemas de gerenciamento de big data, análise avançada de dados e muito mais.
Todos esses componentes trabalham juntos como um "utilitário de dados" para fornecer os recursos de gerenciamento de dados de que uma organização precisa para seus aplicativos, além das análises avançadas e algoritmos que usam os dados originados desses aplicativos. Embora as ferramentas atuais ajudem os administradores de banco de dados (DBAs) a automatizar muitas das tarefas de gerenciamento tradicionais, a intervenção manual ainda é frequentemente necessária devido ao tamanho e à complexidade da maioria das implementações de banco de dados. Sempre que a intervenção manual é necessária, a chance de erros aumenta. Reduzir a necessidade de gerenciamento manual de dados é um dos principais objetivos de uma nova tecnologia de gerenciamento de dados, o Autonomous Database.
Uma plataforma de gerenciamento de dados é o sistema básico para coletar e analisar grandes volumes de dados em uma organização. As plataformas de dados comerciais geralmente incluem ferramentas de software para gerenciamento, desenvolvidas pelo fornecedor do banco de dados ou por fornecedores terceirizados. Essas soluções de gerenciamento de dados ajudam as equipes de TI e os DBAs a executarem tarefas típicas, como:
- Identificar, alertar, diagnosticar e resolver falhas no sistema de banco de dados ou na infraestrutura subjacente
- Alocar memória do banco de dados e recursos de armazenamento
- Fazer alterações no design do banco de dados
- Otimizar respostas para consultas de banco de dados para desempenho de aplicativo mais rápido
As plataformas de dados em nuvem, cada vez mais populares, permitem que as empresas dimensionem horizontal ou verticalmente de maneira rápida e econômica. Algumas estão disponíveis como serviço, permitindo que as organizações economizem ainda mais.
Baseado na nuvem, um banco de dados autônomo usa inteligência artificial (IA) e machine learning para automatizar muitas tarefas de gerenciamento de dados executadas por DBAs, incluindo o gerenciamento de backups de banco de dados, segurança e ajuste de desempenho.
Também chamado de banco de dados independente, um banco de dados autônomo oferece benefícios significativos para o gerenciamento de dados, incluindo:
- Complexidade reduzida
- Diminuição do potencial de erro humano
- Maior confiabilidade e segurança do banco de dados
- Melhor eficiência operacional
- Custos reduzidos
As plataformas de dados em nuvem, cada vez mais populares, permitem que as empresas dimensionem horizontal ou verticalmente de maneira rápida e econômica. Algumas estão disponíveis como serviço, permitindo que as organizações economizem ainda mais.
Sistema de Gerenciamento de Big Data
De certa forma, big data é exatamente o que parece: muitos e muitos dados. Mas o big data também se apresenta com uma variedade maior de formas do que os dados tradicionais, e é coletado a uma taxa de velocidade alta. Pense em todos os dados que chegam todos os dias, ou a cada minuto, de uma fonte de mídia social, como o Facebook. A quantidade, a variedade e a velocidade são o que o tornam esses dados tão valiosos para as empresas, mas também o tornam muito complexos de gerenciar.
À medida que mais e mais dados foram coletados de fontes diferentes, como câmeras de vídeo, mídias sociais, gravações de áudio e dispositivos de Internet of Things, surgiram sistemas de gerenciamento de big data. Esses sistemas são especializados em três áreas gerais.
- A integração de big data utiliza tipos diferentes de dados, desde dados em lote até dados de streaming, e transforma-os para que possam ser aproveitados.
- O gerenciamento de big data armazena e processa dados em um data lake ou data warehouse com eficiência, segurança e confiabilidade, frequentemente usando armazenamento de objetos.
- A análise avançada de big data descobre novas informações com análise avançada e utiliza machine learning e visualização de IA para criar modelos.
As empresas estão usando big data para melhorar e acelerar o desenvolvimento de produtos, a manutenção preditiva, a experiência do cliente, a segurança, a eficiência operacional e muito mais. À medida que o big data fica maior, as oportunidades também crescem.
Desafios do Gerenciamento de Dados
A maioria dos desafios no gerenciamento de dados atualmente se origina do ritmo mais acelerado dos negócios e da crescente proliferação de dados. A variedade, a velocidade e o volume de dados sempre em expansão disponíveis para as organizações estão pressionando-as a buscar ferramentas de gerenciamento mais eficazes para se manterem atualizadas. Alguns dos principais desafios enfrentados pelas organizações incluem o seguinte:
|
As organizações não sabem quais dados elas têm |
Dados de um número crescente de fontes variáveis, como sensores, dispositivos inteligentes, mídias sociais e câmeras de vídeo, estão sendo coletados e armazenados. Mas esses dados não são úteis se a organização não sabe quais são eles, onde estão e como usá-los. |
|
As organizações devem manter os níveis de desempenho à medida que a camada de dados se expande |
As organizações estão coletando, armazenando e usando mais dados o tempo todo. Para manter os tempos de resposta de pico em toda essa camada de expansão, as organizações precisam monitorar continuamente o tipo de perguntas que o banco de dados está respondendo e alterar os índices à medida que as consultas mudam, sem afetar o desempenho. |
|
Elas devem atender aos requisitos de conformidade em constante mudança |
Os regulamentos de conformidade são complexos e envolvem várias jurisdições, além de mudarem constantemente. As organizações precisam poder revisar facilmente seus dados e identificar tudo que seja definido como requisito novo ou modificado. Em particular, as Informações de Identificação Pessoal (PII) devem ser detectadas, rastreadas e monitoradas em busca de conformidade com regulamentações globais de privacidade cada vez mais rigorosas. |
|
Elas não sabem ao certo como reutilizar dados para colocá-los em novos usos |
Apenas coletar e identificar dados não fornece nenhum valor. A organização precisa processá-los. Se for preciso muito tempo e esforço para converter os dados no que eles precisam para análise, essa análise não ocorrerá. Como resultado, o valor potencial desses dados será perdido. |
|
Elas devem acompanhar as mudanças no armazenamento de dados |
No novo mundo do gerenciamento de dados, as organizações armazenam dados em vários sistemas, incluindo data warehouses e data lakes não estruturados que armazenam dados em qualquer formato em um único repositório. Os cientistas de uma organização precisam de uma maneira rápida e fácil transformar os dados de formato original na forma, no formato ou no modelo de que necessitam para uma ampla variedade de análises avançadas. |
Princípios de Gerenciamento de Dados e Privacidade de Dados
O Regulamento Geral de Proteção de Dados (GDPR), promulgado pela União Europeia e implementado em maio de 2018, inclui sete princípios fundamentais para o gerenciamento e processamento de dados pessoais. Esses princípios incluem legalidade, justiça e transparência; limitação de finalidade; precisão; limitação de armazenamento; integridade e confidencialidade; e muito mais.
A GDPR e outras leis que seguem seus passos, como a Lei de Privacidade do Consumidor da Califórnia (CCPA), estão mudando a forma do gerenciamento de dados. Esses requisitos fornecem leis padronizadas de proteção de dados que fornecem aos indivíduos controle sobre seus dados pessoais e como eles são usados. Na verdade, transformam consumidores em partes interessadas em dados com recursos legais reais quando as organizações não obtêm o consentimento informado na coleta de dados, exercem controle deficiente sobre o uso ou a localidade dos dados ou não cumprem com os requisitos de eliminação de dados ou portabilidade.
Melhores Práticas de Gerenciamento de Dados
Enfrentar os desafios do gerenciamento de dados requer um conjunto abrangente e bem planejado de melhores práticas. Embora as melhores práticas específicas variem dependendo do tipo de dados envolvidos e do setor, as melhores práticas a seguir abordam os principais desafios de gerenciamento de dados que as organizações enfrentam atualmente:
|
Crie uma camada de descoberta para identificar seus dados |
Uma camada de descoberta na camada de dados de sua organização permite que analistas e cientistas de dados pesquisem e procurem conjuntos de dados para tornar seus dados utilizáveis. |
|
Desenvolva um ambiente de ciência de dados para reutilizar com eficiência seus dados |
Um ambiente de ciência de dados automatiza o máximo possível do trabalho de transformação de dados, simplificando a criação e avaliação de modelos de dados. Um conjunto de ferramentas que elimina a necessidade da transformação manual de dados pode agilizar a hipótese e o teste de novos modelos. |
|
Use tecnologia autônoma para manter os níveis de desempenho em toda a camada de dados em expansão |
Os recursos de dados autônomos usam a IA e o machine learning para monitorar continuamente as consultas ao banco de dados e otimizar os índices à medida que as consultas mudam. Isso permite que o banco de dados mantenha tempos de resposta rápidos e libera DBAs e cientistas de dados das tarefas manuais demoradas. |
|
Use a descoberta para ficar em dia com os requisitos de conformidade |
Novas ferramentas usam a descoberta de dados para analisar dados e identificar as cadeias de conexão que precisam ser detectadas, rastreadas e monitoradas para conformidade de várias jurisdições. À medida que as exigências de conformidade aumentam globalmente, essa capacidade será cada vez mais importante para os agentes de risco e segurança. |
|
Use uma camada de consulta comum para gerenciar várias formas de armazenamento de dados |
Novas tecnologias estão permitindo que os repositórios de gerenciamento de dados trabalhem juntos, fazendo com que as diferenças entre eles desapareçam. Uma camada de consulta comum que abrange os vários tipos de armazenamento de dados permite que cientistas de dados, analistas e aplicativos acessem dados sem precisar saber onde estão armazenados e sem precisar transformá-los manualmente em um formato utilizável. |
O Valor de um Ambiente de Ciência de Dados
A ciência de dados é um campo interdisciplinar que utiliza métodos, processos, algoritmos e sistemas científicos para extrair valor dos dados. Os cientistas de dados combinam uma série de habilidades, incluindo estatísticas, ciência da computação e conhecimento comercial, para analisar dados coletados da web, smartphones, clientes, sensores e outras fontes.
Evolução do Gerenciamento de Dados
Com a nova função dos dados capital de negócios, as organizações estão descobrindo o que as startups e os inovadores digitais já sabem: Os dados são um ativo valioso para identificar tendências, tomar decisões e agir antes dos concorrentes. A nova posição dos dados na cadeia de valor está levando as organizações a buscar ativamente melhores formas de obter valor desse novo capital.
Dentro das empresas, as responsabilidades de gerenciamento de dados do DBA também estão evoluindo, reduzindo o número de tarefas maçantes para que os DBAs possam se concentrar em questões mais estratégicas e fornecer suporte de gerenciamento de dados essencial em ambientes de nuvem envolvendo iniciativas-chave, como modelagem e segurança de dados.