O que é Gerenciamento de Dados?
Gerenciamento de Dados, Definido
Gerenciamento de dados é a prática de coletar, manter e usar dados de forma segura, eficiente e econômica. O objetivo do gerenciamento de dados é ajudar pessoas, organizações e itens conectados a otimizar o uso de dados dentro dos limites da política e da regulamentação, para que possam tomar decisões e ações que maximizem o benefício para a organização. Uma estratégia robusta de gerenciamento de dados está se tornando mais importante do que nunca, já que as organizações dependem cada vez mais de ativos intangíveis para criar valor.
O gerenciamento de dados digitais em uma organização envolve uma ampla gama de tarefas, políticas, procedimentos e práticas. O trabalho de gerenciamento de dados tem um amplo escopo, abrangendo fatores como estes:
- Crie, acesse e atualize dados em uma camada de dados diversificada
- Armazene dados em várias nuvens e on-premise
- Forneça alta disponibilidade e recuperação de desastres
- Use dados em uma crescente variedade de aplicativos, análises avançadas e algoritmos
- Garanta privacidade e segurança de dados
- Arquive e destrua dados de acordo com os cronogramas de retenção e requisitos de conformidade
Uma estratégia formal de gerenciamento de dados aborda a atividade de usuários e administradores, os recursos de tecnologias de gerenciamento de dados, as exigências de requisitos regulatórios e as necessidades da organização para obter valor de seus dados.
Capital de Dados é Capital de Negócios
Na economia digital atual, os dados são uma espécie de capital, um fator econômico de produção em bens e serviços digitais. Assim como uma montadora não conseguirá fabricar um novo modelo se não tiver o capital financeiro necessário, ela não conseguirá tornar seus carros autônomos se não tiver os dados para alimentar os algoritmos integrados. Esse novo papel para os dados tem implicações para a estratégia competitiva, bem como para o futuro do processamento.
Dado esse papel central e de missão crítica de dados, práticas de gerenciamento sólidas e um sistema de gerenciamento robusto são essenciais para todas as organizações, independentemente do tamanho ou tipo.
Sistemas de Gerenciamento de Dados Atuais
Atualmente, as organizações precisam de uma solução de gerenciamento de dados que forneça uma maneira eficiente de gerenciar dados em uma camada de dados diversificada, mas unificada. Os sistemas de gerenciamento de dados são construídos em plataformas de gerenciamento de dados e podem incluir bancos de dados, data lakes e data warehouses, sistemas de gerenciamento de big data, análise de dados e muito mais.
Todos esses componentes trabalham juntos como um "utilitário de dados" para fornecer os recursos de gerenciamento de dados de que uma organização precisa para seus aplicativos, além das análises avançadas e algoritmos que usam os dados originados desses aplicativos. Embora as ferramentas atuais ajudem os administradores de banco de dados (DBAs) a automatizar muitas das tarefas de gerenciamento tradicionais, a intervenção manual ainda é frequentemente necessária devido ao tamanho e à complexidade da maioria das implementações de banco de dados. Sempre que a intervenção manual é necessária, a chance de erros aumenta. Reduzir a necessidade de gerenciamento manual de dados é um dos principais objetivos de uma nova tecnologia de gerenciamento de dados, o banco de dados autônomo.
Plataformas de Gerenciamento de Dados
A etapa mais crítica para a entrega contínua de software é a integração contínua (CI). CI é uma prática de desenvolvimento em que os desenvolvedores comprometem suas alterações de código (geralmente pequenas e incrementais) em um repositório de origem centralizado, que inicia um conjunto de compilações e testes automatizados. Este repositório permite que os desenvolvedores capturem os bugs antecipadamente e automaticamente antes de passá-los para a produção. O pipeline de integração contínua geralmente envolve uma série de etapas, começando da confirmação do código para realizar análise estática/linting automatizada básica, capturar dependências e, finalmente, construir o software e realizar alguns testes de unidade básicos antes de criar um artefato de construção. Sistemas de gerenciamento de código-fonte como Github, Gitlab, etc., oferecem integração de webhooks aos quais ferramentas de CI como Jenkins podem inscrever para começar a executar compilações e testes automatizados após cada verificação de código.
Uma plataforma de gerenciamento de dados é o sistema básico para coletar e analisar grandes volumes de dados em uma organização. As plataformas de dados comerciais geralmente incluem ferramentas de software para gerenciamento, desenvolvidas pelo fornecedor do banco de dados ou por fornecedores terceirizados. Essas soluções de gerenciamento de dados ajudam as equipes de TI e os DBAs a executarem tarefas típicas, como:
- Identificar, alertar, diagnosticar e resolver falhas no sistema de banco de dados ou na infraestrutura subjacente
- Alocar memória do banco de dados e recursos de armazenamento
- Fazer alterações no design do banco de dados
- Otimizar respostas para consultas de banco de dados para desempenho de aplicativo mais rápido
As plataformas de banco de dados em nuvem, cada vez mais populares, permitem que as empresas dimensionem horizontal ou verticalmente de maneira rápida e econômica. Algumas estão disponíveis como serviço, permitindo que as organizações economizem ainda mais.
O que é um banco de dados autônomo
Baseado na nuvem, um banco de dados autônomo usa inteligência artificial (IA) e machine learning para automatizar muitas tarefas de gerenciamento de dados executadas por DBAs, incluindo o gerenciamento de backups de banco de dados, segurança e ajuste de desempenho.
Também chamado de banco de dados independente, um banco de dados autônomo oferece benefícios significativos para o gerenciamento de dados, incluindo:
- Complexidade reduzida
- Diminuição do potencial de erro humano
- Maior confiabilidade e segurança do banco de dados
- Melhor eficiência operacional
- Custos reduzidos
As plataformas de dados em nuvem, cada vez mais populares, permitem que as empresas dimensionem horizontal ou verticalmente de maneira rápida e econômica. Algumas estão disponíveis como serviço, permitindo que as organizações economizem ainda mais.
Sistema de Gerenciamento de Big Data
De certa forma, big data é exatamente o que parece: muitos e muitos dados. Mas o big data também se apresenta com uma variedade maior de formas do que os dados tradicionais, e é coletado a uma taxa de velocidade alta. Pense em todos os dados que chegam todos os dias, ou a cada minuto, de uma fonte de mídia social, como o Facebook. A quantidade, a variedade e a velocidade são o que o tornam esses dados tão valiosos para as empresas, mas também o tornam muito complexos de gerenciar.
À medida que mais e mais dados foram coletados de fontes tão diferentes quanto câmeras de vídeo, mídias sociais, gravações de áudio e dispositivos de Internet das Coisas, surgiram sistemas de gerenciamento de big data. Esses sistemas são especializados em três áreas gerais.
- A integração de big data utiliza tipos diferentes de dados, desde dados em lote até dados de streaming, e transforma-os para que possam ser aproveitados.
- O gerenciamento de big data armazena e processa dados em um data lake ou data warehouse com mais eficiência, segurança e confiabilidade com o uso frequente de armazenamento de objetos.
- A análise de big data revela novos insights com análises, incluindo análise de gráficos, e usa machine learning e visualização de IA para criar modelos.
As empresas estão usando big data para melhorar e acelerar o desenvolvimento de produtos, a manutenção preditiva, a experiência do cliente, a segurança, a eficiência operacional e muito mais. À medida que o big data fica maior, as oportunidades também.
Desafios do Gerenciamento de Dados
A maioria dos desafios no gerenciamento de dados atualmente se origina do ritmo mais acelerado dos negócios e da crescente proliferação de dados. A variedade, a velocidade e o volume de dados sempre em expansão disponíveis para as organizações estão pressionando-as a buscar ferramentas de gerenciamento mais eficazes para se manterem atualizadas. Alguns dos principais desafios enfrentados pelas organizações incluem o seguinte:
Ausência de insights de dados |
Dados de um número crescente de fontes variáveis, como sensores, dispositivos inteligentes, mídias sociais e câmeras de vídeo, estão sendo coletados e armazenados. Mas esses dados não são úteis se a organização não sabe quais são eles, onde estão e como usá-los. As soluções de gerenciamento de dados precisam de escala e desempenho para fornecer insights significativos em tempo hábil. |
Dificuldade em manter os níveis de desempenho do gerenciamento de dados |
As organizações estão coletando, armazenando e usando mais dados o tempo todo. Para manter os tempos de resposta de pico em toda essa camada de expansão, as organizações precisam monitorar continuamente o tipo de perguntas que o banco de dados está respondendo e alterar os índices à medida que as consultas mudam, sem afetar o desempenho. |
Desafios em conformidade com os requisitos de dados em constante mudança |
Os regulamentos de conformidade são complexos e envolvem várias jurisdições, além de mudarem constantemente. As organizações precisam poder revisar facilmente seus dados e identificar tudo que seja definido como requisito novo ou modificado. Em particular, as Informações de Identificação Pessoal (PII) devem ser detectadas, rastreadas e monitoradas em busca de conformidade com regulamentações globais de privacidade cada vez mais rigorosas. |
Os dados precisam ser processados e convertidos facilmente |
Apenas coletar e identificar dados não fornece nenhum valor. A organização precisa processá-los. Se for preciso muito tempo e esforço para converter os dados no que eles precisam para análise, essa análise não ocorrerá. Como resultado, o valor potencial desses dados será perdido. |
Necessidade constante de armazenar dados de forma eficiente |
No novo mundo do gerenciamento de dados, as organizações armazenam dados em vários sistemas, incluindo data warehouses e data lakes não estruturados que armazenam dados em qualquer formato em um único repositório. Os cientistas de uma organização precisam de uma maneira rápida e fácil transformar os dados de formato original na forma, no formato ou no modelo de que necessitam para uma ampla variedade de análises avançadas. |
Demanda para otimizar continuamente a agilidade e os custos de TI |
Com a disponibilidade de sistemas de gerenciamento de dados em nuvem, as organizações agora podem escolher entre manter e analisar dados em ambientes on-premises, na nuvem ou em uma combinação híbrida dos dois. As organizações de TI precisam avaliar o nível de identidade entre ambientes on-premises e de nuvem para manter a agilidade máxima de TI e reduzir os custos. |
Princípios de Gerenciamento de Dados e Privacidade de Dados
O Regulamento Geral de Proteção de Dados (GDPR), promulgado pela União Europeia e implementado em maio de 2018, inclui sete princípios fundamentais para o gerenciamento e processamento de dados pessoais. Esses princípios incluem legalidade, justiça e transparência; limitação de finalidade; precisão; limitação de armazenamento; integridade e confidencialidade; e muito mais.
A GDPR e outras leis que seguem seus passos, como a Lei de Privacidade do Consumidor da Califórnia (CCPA), estão mudando a forma do gerenciamento de dados. Esses requisitos fornecem leis padronizadas de proteção de dados que fornecem aos indivíduos controle sobre seus dados pessoais e como eles são usados. Na verdade, transformam consumidores em partes interessadas em dados com recursos legais reais quando as organizações não obtêm o consentimento informado na coleta de dados, exercem controle deficiente sobre o uso ou a localidade dos dados ou não cumprem com os requisitos de eliminação de dados ou portabilidade.
Melhores Práticas de Gerenciamento de Dados
Enfrentar os desafios do gerenciamento de dados requer um conjunto abrangente e bem planejado de melhores práticas. Embora as melhores práticas específicas variem dependendo do tipo de dados envolvidos e do setor, as melhores práticas a seguir abordam os principais desafios de gerenciamento de dados que as organizações enfrentam atualmente:
Crie uma camada de descoberta para identificar seus dados |
Uma camada de descoberta na camada de dados de sua organização permite que analistas e cientistas de dados pesquisem e procurem conjuntos de dados para tornar seus dados utilizáveis. |
Desenvolva um ambiente de ciência de dados para reutilizar com eficiência seus dados |
Um ambiente de ciência de dados automatiza o máximo possível do trabalho de transformação de dados, simplificando a criação e avaliação de modelos de dados. Um conjunto de ferramentas que elimina a necessidade da transformação manual de dados pode agilizar a hipótese e o teste de novos modelos. |
Use tecnologia autônoma para manter os níveis de desempenho em toda a camada de dados em expansão |
Os recursos de dados autônomos usam a IA e o machine learning para monitorar continuamente as consultas ao banco de dados e otimizar os índices à medida que as consultas mudam. Isso permite que o banco de dados mantenha tempos de resposta rápidos e libera DBAs e cientistas de dados das tarefas manuais demoradas. |
Use a descoberta para ficar em dia com os requisitos de conformidade |
Novas ferramentas usam a descoberta de dados para analisar dados e identificar as cadeias de conexão que precisam ser detectadas, rastreadas e monitoradas para conformidade de várias jurisdições. À medida que as exigências de conformidade aumentam globalmente, essa capacidade será cada vez mais importante para os agentes de risco e segurança. |
Verifique se você está usando um banco de dados convergente |
Um banco de dados convergente é um banco de dados que tem suporte nativo para todos os tipos de dados modernos e os modelos de desenvolvimento mais recentes integrados em um só produto. Os melhores bancos de dados convergentes podem executar vários tipos de cargas de trabalho, incluindo gráfico, IoT, blockchain e machine learning. |
Certifique-se de que sua plataforma de banco de dados tenha o desempenho, a escala e a disponibilidade para oferecer suporte aos seus negócios |
O objetivo de reunir dados é poder analisá-los para tomar decisões melhores e mais oportunas. Uma plataforma de banco de dados escalável e de alto desempenho permite que as empresas analisem rapidamente dados de várias fontes usando análises avançadas e machine learning para que possam tomar melhores decisões de negócios. |
Use uma camada de consulta comum para gerenciar várias formas de armazenamento de dados |
Novas tecnologias estão permitindo que os repositórios de gerenciamento de dados trabalhem juntos, fazendo com que as diferenças entre eles desapareçam. Uma camada de consulta comum que abrange os vários tipos de armazenamento de dados permite que cientistas de dados, analistas e aplicativos acessem dados sem precisar saber onde estão armazenados e sem precisar transformá-los manualmente em um formato utilizável. |
O Valor de um Ambiente de Ciência de Dados
A ciência de dados é um campo interdisciplinar que utiliza métodos, processos, algoritmos e sistemas científicos para extrair valor dos dados. Os cientistas de dados combinam uma série de habilidades, incluindo estatísticas, ciência da computação e conhecimento comercial, para analisar dados coletados da web, smartphones, clientes, sensores e outras fontes.
Evolução do Gerenciamento de Dados
Com o novo papel dos dados como capital de negócios, as organizações estão descobrindo o que startups e disruptores digitais já sabem: os dados são um ativo valioso para identificar tendências, tomar decisões e agir antes da concorrência. A nova posição dos dados na cadeia de valor está levando as organizações a buscar ativamente melhores formas de obter valor desse novo capital.
Saiba mais sobre o que o melhor gerenciamento de dados pode fazer por você, incluindo os benefícios de uma estratégia autônoma na nuvem (PDF) e recursos de nuvem de banco de dados escaláveis e de alto desempenho.
Produtos relacionados ao gerenciamento de dados
- Oracle Autonomous Database
O primeiro banco de dados autônomo do mundo - Oracle Database
O sistema de gerenciamento de banco de dados multimodelo e convergente líder mundial - Oracle Exadata
Desempenho, escala e disponibilidade incomparáveis do Oracle Database - Oracle Autonomous Data Warehouse
Data warehousing sem complexidade