Alan Zeichick | Estrategista de Conteúdo | 31 de maio de 2023
Para que os dados comerciais sejam bem utilizados, é necessário calcular o retorno sobre o investimento, tal como acontece com investimentos em fábricas, expansão da empresa ou esforços de pesquisa e desenvolvimento. As organizações não podem operar sem dados, como informações sobre clientes, produtos, transações, funcionários, finanças, economia e concorrentes. Precisamos desses dados para crescer e prosperar. No entanto, dados de alta qualidade têm um custo para serem adquiridos, armazenados, gerenciados, protegidos e analisados. Quanto mais dados as empresas têm, maior a capacidade de atender aos clientes e colaborar com os parceiros. Porém, isso também aumenta o tempo, o esforço e os recursos que devem investir em todo o ecossistema de dados. As empresas se beneficiam do tratamento consistente dos dados com esse tipo de mentalidade de ROI.
Este artigo explorará principalmente o lado dos custos na equação do ROI de dados e se concentrará em maneiras de controlar e minimizar os custos de aquisição, armazenamento, segurança e uso desses dados.
Custos de dados são as despesas associadas à aquisição, manutenção, segurança e uso de dados empresariais. Muitos desses custos de dados são claros. Os dados em si precisam estar armazenados em algum lugar, seja on-premises em um disco rígido ou matriz de armazenamento, por exemplo, ou em armazenamento baseado em nuvem (que também consiste em discos rígidos físicos). Há softwares para organizar esses dados, como um sistema de gerenciamento de conteúdo, banco de dados relacional, data warehouse ou data lake, ou outra estrutura. Esse software tem custos de licença comercial ou contratos de assinatura/suporte ao usar soluções de código aberto. Os dados precisam ser copiados, o que exige armazenamento adicional e software para gerenciar esses backups e preparar uma possível recuperação limitada caso alguns dados sejam perdidos ou uma restauração completa em caso de desastre físico.
Também podem existir taxas de licenciamento ou outros custos para adquirir dados de um fornecedor terceirizado. É necessário ter controles de segurança e acesso, talvez para atender às regulamentações do setor ou do governo e para abordar questões de privacidade. Há custos associados à validação dos dados, bem como à garantia ou melhoria da qualidade dos dados, como a correção de informações desatualizadas.
Também podem existir custos para aproveitar ao máximo os dados, o que exige software para interfaces de usuário, análises e relatórios, e até mesmo software de deep learning ou inteligência artificial para descobrir insights.
Por fim, existem custos relacionados ao desempenho e à escalabilidade. Quando os dados crescem de megabytes para terabytes ou até petabytes, é necessário software sofisticado, planejamento cuidadoso e, potencialmente, ferramentas de automação para manter e usar esses dados, além do hardware para armazená-los e acessá-los em grande escala. E para cada um dos custos de dados mencionados acima, as empresas precisam contratar pessoas qualificadas para gerenciar e operar suas ferramentas de gerenciamento de dados.
Principais conclusões
Reduzir os custos de dados começa com a compreensão do tipo de dados que uma organização possui. Alguns dados são relacionais, ou seja, podem ser considerados como estando em linhas e colunas. Outros dados são não estruturados e podem consistir em documentos, imagens, vídeos e arquivos binários. Depois que uma organização entende seus ativos de dados, o próximo passo é determinar o melhor formato para armazená-los, como um banco de dados relacional, um banco de dados NoSQL, um repositório de documentos etc., e considerar oportunidades de consolidação de bancos de dados. Também é essencial saber de onde os dados vêm, onde residem e onde e como serão usados.
Depois que uma organização entende seus dados e onde armazená-los da melhor forma, o próximo passo é adotar uma arquitetura de dados flexível, capaz de considerar todas essas fontes e usos de dados e que permita à organização otimizar sua aquisição, gerenciamento, armazenamento e análise. Um elemento essencial dessa arquitetura será encontrar o modelo de governança de dados adequado para determinar como os dados serão usados. Outra estratégia é escolher os sistemas de gerenciamento de dados on-premises ou em nuvem adequados para minimizar custos e, ao mesmo tempo, maximizar desempenho, flexibilidade, segurança e utilidade. Todas essas etapas permitirão que uma organização avalie o valor e o uso de qualquer conjunto de dados e tome as medidas corretas para reduzir os custos de entrega desse valor.
Não importa a quantidade de dados que uma empresa possua hoje, novos dados chegam todos os dias, talvez a cada segundo. Grande parte desses dados é necessária para conduzir operações comerciais, realizar transações, atender clientes e parceiros, capacitar o gerenciamento, gerar relatórios financeiros e garantir a conformidade. No entanto, alguns deles podem ter pouco valor. A seguir, apresentamos 11 maneiras de reduzir os custos de aquisição, transformação, armazenamento, segurança e utilização de todos esses dados. Em alguns casos, essas medidas podem gerar economias indiretas, em vez de reduções diretas no orçamento, devido ao aumento da agilidade dos negócios, da produtividade da equipe ou de outras eficiências.
Determine os sistemas de gerenciamento de dados mais adequados com base nos seus casos de uso e volumes de dados previstos, considerando, por exemplo, bancos de dados transacionais, data warehouses, data lakes e ferramentas de machine learning. Consolidar dados e cargas de trabalho em menos bancos de dados pode reduzir os custos de licenciamento de software e gerenciamento de dados. Escolher o melhor tipo de tecnologia de armazenamento e gerenciamento de dados pode reduzir custos, simplificando o trabalho necessário para criar e manter as integrações.
Os sistemas de gerenciamento de dados baseados em nuvem podem oferecer escalabilidade e gerenciamento superiores aos de um sistema on-premises, a um custo total menor, com as vantagens de maior resiliência, conectividade, segurança e serviços de gerenciamento. A nuvem também tende a reduzir os custos com pessoal para gerenciamento de infraestrutura.
Processos manuais de gerenciamento de dados são difíceis de escalar e propensos a erros humanos ou políticas aplicadas de forma inconsistente. Processos automatizados, como os encontrados em um banco de dados autônomo, oferecem previsibilidade e forte segurança, além de economia de custos de mão de obra.
As políticas de governança de dados descrevem como sua organização otimiza e protege seus dados, bem como a forma como pode utilizá-los para oferecer suporte às operações comerciais. Políticas robustas de governança de dados podem eliminar redundâncias de dados, entre outras vantagens, o que significa menos dados para armazenar, fazer backup e analisar.
Usar um sistema de banco de dados de código aberto líder de mercado pode oferecer muitas vantagens, incluindo uma comunidade de desenvolvedores ampla e diversificada, confiabilidade, um amplo ecossistema de ferramentas e softwares, a capacidade de personalizar o software e custos de licenciamento de software mais baixos. Se o código aberto realmente reduz seus custos totais, isso requer uma análise financeira minuciosa. Serviços gerenciados em nuvem baseados em software de código aberto oferecem outra opção para aproveitar essas vantagens.
Os dados são essenciais para executar as transações e operações do dia a dia. Esse é um começo importante, mas a verdadeira vantagem competitiva vem da análise. A análise transforma seus dados em insights que podem ajudar você a identificar tendências, reduzir custos operacionais, aumentar a receita e atender melhor os clientes. Isso pode incluir iniciativas de big data que usam IA para extrair insights de grandes e diversos bancos de dados. A análise de dados deve aumentar o "retorno" do investimento, mas provavelmente não reduzirá os custos totais de gerenciamento de dados, pois estará adicionando os custos das ferramentas de análise.
A limpeza de dados envolve a correção de erros e inconsistências nas linhas e colunas dos dados, de acordo com regras padrão do setor e regras personalizadas. Embora dados brutos e não corrigidos possam ser adequados para transações, a análise de dados é mais precisa e útil quando os dados estão limpos. Além disso, a análise exigirá menos esforço (e custo). No entanto, tenha cuidado ao superestimar as vantagens de economia de custos da higienização de dados. A quantidade de dados removidos provavelmente não é grande e há um custo para limpar os dados, portanto, o benefício pode vir principalmente de uma melhor análise, em vez de custos mais baixos.
Independentemente de as operações de dados serem locais ou na nuvem, a análise do tráfego de rede mostra onde as coisas estão funcionando com eficiência e onde existem gargalos desnecessários. O monitoramento do uso e da atividade da rede ajuda a identificar áreas onde as alterações de configuração podem aumentar o desempenho e a produtividade do usuário. O monitoramento da rede pode detectar casos em que o acesso aos dados está consumindo recursos excessivos de computação e armazenamento, onde há uma oportunidade para uma arquitetura mais eficaz que reduza os custos.
De onde vêm os seus dados? Onde você obtém os dados em que mais confia? Analisar e visualizar a linhagem de seus principais dados pode otimizar a governança de dados para aproveitá-los da maneira mais eficiente, sejam eles gerados internamente ou provenientes de fontes externas, especialmente no caso de big data. Novamente, isso provavelmente não representa uma economia significativa, mas pode identificar dados de terceiros desnecessários ou subutilizados pelos quais você está pagando.
Você pode gerenciar a arquitetura de dados, servidores, recursos e aplicações por conta própria, ou pode deixar que um especialista cuide dessas questões técnicas. Isso permite que você se concentre no seu negócio, em vez das complexidades da gestão de dados, com maior eficiência e menor risco. Além disso, a equipe especializada e as ferramentas utilizadas pelos provedores de serviços podem realizar o trabalho a um custo menor. Vale a pena fazer as contas.
Algumas partes do seu negócio dependem muito de dados, mas quais são cruciais? Como são usados? Onde e quando eles estão sendo usados? Quem está usando? Use essas informações para fazer o melhor uso dos recursos tecnológicos e do orçamento da gestão de dados.
Saiba como usar IA generativa e machine learning automatizados e integrados em um serviço na nuvem para transações e análises de escala do lakehouse.
O objetivo de um programa de redução de custos de dados é ajudar você a fazer mais com custos mais baixos. Obtenha maiores insights de negócios e capacidade de resposta operacional de seus dados, gastando menos para gerenciá-los.
Muitas organizações, grandes e pequenas, estão reduzindo o custo dos dados, aproveitando a nuvem e as arquiteturas de dados modernas.
Os dados auxiliam todas as operações da sua empresa, desde faturas até registros de tradução, documentos, catálogos de peças, listas de preços e gerenciamento de estoque. Usar esses dados operacionais de forma mais eficaz desbloqueia novas oportunidades. Mas esses dados aumentam a cada dia e, com eles, o custo. Felizmente, você pode tomar medidas para reduzir o custo dos dados, impulsionando o crescimento dos negócios e melhorando a eficiência.
O HeatWave permite usar a IA generativa automatizada e integrada e machine learning em um serviço em nuvem para transações e análises em escala de lakehouse. As empresas podem eliminar o custo e a complexidade de análises separadas e bancos de dados vetoriais, serviços de machine learning e processos de ETL, evitando os riscos de latência e segurança da movimentação de dados entre armazenamentos de dados. Com a automação integrada baseada em machine learning, desenvolvedores e administradores de banco de dados podem economizar tempo significativo, aumentar ainda mais o desempenho e reduzir custos. O HeatWave está disponível na Oracle Cloud Infrastructure (OCI), Amazon Web Services (AWS), Microsoft Azure e nos data centers dos clientes com a OCI Dedicated Region.
O desempenho da consulta do HeatWave Lakehouse é 15X mais rápido que o Amazon Redshift, 18X mais rápido que o Databricks e o Snowflake e 35X mais rápido que o Google BigQuery. O custo-benefício também é significativamente melhor. Muitas organizações em rápido crescimento usam o HeatWave para simplificar a infraestrutura de dados e reduzir os custos de gerenciamento de dados, melhorando o desempenho, a escalabilidade, a segurança e a produtividade.
Qual é a primeira etapa para sair de um data center?
Quando estiver planejando sair de um data center, faça um levantamento completo de aplicações, dados, serviços, usuários e requisitos de segurança. Tudo nesse levantamento exigirá um plano de migração, seja para fazer “lift and shift“ das aplicações e dos dados existentes para a nuvem, escolher novas aplicações ou criar novas do zero.
Qual é o tempo de vida útil dos equipamentos em um data center?
Grandes partes da infraestrutura do data center, como sistemas HVAC (aquecimento, ventilação e ar condicionado), distribuição de energia e sistemas de segurança física, podem durar uma década ou mais com manutenção regular. Os equipamentos de computação, como servidores, roteadores, switches e armazenamento, são bons por três a cinco anos, como regra básica, antes de se tornarem obsoletos.
Quem é responsável pela segurança na nuvem?
A segurança física da infraestrutura de nuvem, os servidores, a infraestrutura de rede etc., é gerenciada pelos provedores de nuvem. A responsabilidade por proteger o software e os serviços é compartilhada entre o provedor de nuvem e a empresa.
Quanto tempo leva para sair de um data center?
São necessários meses para desativar completamente um data center. Uma infraestrutura de TI maior pode levar anos. Tudo depende do tamanho do data center, de sua complexidade e do volume de dados. Grande parte desse tempo será consumido fazendo um inventário completo, desenvolvendo planos, criando e testando novos softwares (se necessário) e treinando. Como mudar de escritório, a migração e a saída em si são uma fase relativamente curta, uma vez que o planejamento completo está concluído.
Aprenda a aproveitar a IA generativa, criar modelos de machine learning, consultar dados em armazenamento de objetos ou explorar outros tópicos de interesse do HeatWave.