Alan Zeichick | Estrategista de Conteúdo | 31 de maio de 2023
Colocar os dados de negócios em bom uso requer um cálculo de retorno sobre o investimento – tão certo quanto investir em uma fábrica, uma expansão de escritório ou esforço de P&D. Nossas organizações não podem operar sem dados, como informações sobre clientes, produtos, transações, funcionários, finanças, economia e concorrentes. Precisamos desses dados para crescer e prosperar. No entanto, dados de alta qualidade vêm com um preço para adquiri-los, armazená-los, gerenciá-los, protegê-los e analisá-los. Quanto mais dados as empresas tiverem, melhor poderão atender clientes e colaborar com parceiros, e ainda mais tempo, esforço e recursos deverão investir em todo o ecossistema de dados. As empresas se beneficiam do tratamento consistente dos dados com esse tipo de mentalidade de ROI.
Este artigo irá explorar principalmente o lado do custo da equação de ROI de dados e se concentrar em maneiras de controlar e minimizar os custos para adquirir, armazenar, proteger e usar esses dados.
Os custos de dados são as despesas associadas à aquisição, manutenção, proteção e uso de dados de negócios. Muitos desses custos de dados são claros. Os dados em si precisam estar em algum lugar, seja on-premises em um disco rígido ou matriz de armazenamento, por exemplo, ou em armazenamento baseado em nuvem (que em si consiste em discos rígidos físicos). Há software para organizar esses dados, como um sistema de gerenciamento de conteúdo, banco de dados relacional, data warehouse ou data lake, ou outra estrutura; esse software tem custos de licença comercial ou contratos de assinatura/suporte ao usar soluções de código-fonte aberto. É necessário fazer backup dos dados, o que requer armazenamento e software adicionais para gerenciar esses backups e se preparar para uma possível recuperação limitada, caso alguns dados sejam perdidos, ou uma restauração completa, caso ocorra um desastre físico.
Também pode haver taxas de licença ou outros custos para adquirir dados de um provedor terceirizado. É preciso haver controles de segurança e acesso, talvez para estar em conformidade com os regulamentos da indústria ou do governo e para abordar as preocupações com a privacidade. Há custos associados à validação dos dados, bem como à garantia ou melhoria da qualidade dos dados, como a correção de informações desatualizadas.
Também pode haver custos para fazer pleno uso dos dados, o que requer software para interfaces de usuário, análises e relatórios e até mesmo software de aprendizado profundo ou inteligência artificial para descobrir insights.
Por fim, há custos vinculados ao desempenho e à escalabilidade. Quando os dados crescem de megabytes para terabytes ou até mesmo petabytes, eles exigem software sofisticado, planejamento cuidadoso e ferramentas de automação potencialmente para manter e usar esses dados, além do hardware para armazená-los e acessá-los em grande escala. E para cada um dos custos de dados mencionados acima, as empresas devem contratar pessoas qualificadas para gerenciar e operar suas ferramentas de gerenciamento de dados.
Principais Conclusões
Minimizar os custos de dados começa com a compreensão de que tipo de dados uma organização tem. Parte disso é relacional, ou seja, os dados podem ser considerados como vivendo em linhas e colunas. Outros dados são não estruturados e podem consistir em documentos, imagens, vídeos e arquivos binários. Depois que uma organização entende os ativos de dados que ela tem, a próxima etapa é determinar o melhor formato para armazená-los — um banco de dados relacional, banco de dados NoSQL, repositório de documentos etc. — e considerar oportunidades de consolidação de banco de dados. Também é essencial saber de onde vêm os dados, onde eles residem e onde e como eles serão usados.
Uma vez que uma organização entende seus dados e onde melhor armazená-los, o próximo passo é adotar uma arquitetura de dados flexível que seja capaz de contabilizar todas essas fontes e usos de dados e permita que a organização otimize sua aquisição, gerenciamento, armazenamento e análise. Um elemento-chave desta arquitetura será encontrar o modelo de governança de dados certo para determinar como os dados serão usados. Outra é escolher os sistemas de gerenciamento de dados on-premises ou na nuvem certos para minimizar custos e maximizar o desempenho, a flexibilidade, a segurança e a utilidade. Todas essas etapas darão a uma organização a capacidade de avaliar o valor e o uso de qualquer parcela de dados e tomar as medidas certas para minimizar os custos de entrega desse valor.
Não importa quantos dados uma empresa tenha hoje, há mais chegando todos os dias, talvez a cada segundo. Grande parte desses dados é necessária para conduzir operações de negócios, conduzir transações, atender clientes e parceiros, capacitar o gerenciamento, gerar relatórios financeiros e garantir a conformidade. Parte disso, no entanto, pode ser de muito pouco valor. Abaixo estão 11 maneiras de minimizar os custos de aquisição, transformação, armazenamento, proteção e uso de todos esses dados. Em alguns casos, essas etapas podem levar a economias indiretas, em vez de reduções diretas de orçamento, devido ao aumento da agilidade dos negócios, da produtividade da equipe ou de outras eficiências.
Determine os sistemas de gerenciamento de dados mais apropriados com base em seus casos de uso e volumes de dados previstos, considerando, por exemplo, bancos de dados transacionais, data warehouses, data lakes e ferramentas de machine learning. A consolidação de dados e cargas de trabalho em menos bancos de dados pode reduzir os custos de licenciamento de software e gerenciamento de dados; escolher o melhor tipo de tecnologia de armazenamento e gerenciamento de dados pode reduzir os custos simplificando a quantidade de trabalho necessária para criar e manter as integrações.
Os sistemas de gerenciamento de dados baseados em nuvem podem oferecer escalabilidade e gerenciabilidade além da de um sistema on-premises, a um custo total menor, com as vantagens de melhores serviços de resiliência, conectividade, segurança e gerenciamento. A nuvem também provavelmente reduz os custos de pessoal para gerenciamento de infraestrutura.
Processos manuais para gerenciamento de dados são difíceis de dimensionar e propensos a erros humanos ou políticas aplicadas de forma inconsistente. Processos automatizados, como os encontrados em um banco de dados autônomo, oferecem previsibilidade e forte segurança, além de economia de custos de mão de obra.
As políticas de governança de dados descrevem como sua organização otimiza e protege seus dados e como pode aproveitar esses dados para dar suporte às operações comerciais. Políticas fortes de governança de dados podem eliminar redundâncias de dados, entre outras vantagens, o que significa que menos dados precisam ser armazenados, submetidos a backup e analisados.
O uso de um sistema líder de banco de dados de código aberto pode oferecer muitas vantagens, incluindo uma grande e diversificada comunidade de desenvolvedores; confiabilidade; um amplo ecossistema de ferramentas e software; a capacidade de personalizar o software; e, claro, menores custos de licenciamento de software. Se o código-fonte aberto reduz seus custos totais, é necessário uma análise financeira cuidadosa. Serviços de nuvem gerenciados baseados em software de código aberto oferecem outra opção para aproveitar essas vantagens.
Os dados são o que você precisa para executar transações e operações diárias. Esse é um começo vital, mas a verdadeira vantagem competitiva vem da análise. A análise transforma seus dados em insights que podem ajudá-lo a identificar tendências, reduzir custos operacionais, aumentar as receitas e atender melhor seus clientes. Isso pode incluir iniciativas de big data que usam IA para extrair insights de grandes e diversos armazenamentos de dados. Uma palavra de cautela: A análise de dados deve aumentar o "retorno" de sua equação de ROI, mas provavelmente não reduzirá seus custos totais de gerenciamento de dados, pois você está adicionando os custos das ferramentas analíticas.
A limpeza de dados envolve a correção de erros e inconsistências nas linhas e colunas dos dados, de acordo com regras personalizadas e padrão do setor. Embora dados brutos e não corrigidos possam ser bons para transações, a análise de dados é mais precisa – e mais útil – quando os dados estão limpos. Não só isso, mas quando os dados estão limpos, pode ser necessário menos esforço (e despesas) para analisar. No entanto, tenha cuidado com a supervenda das vantagens de economia de custos da limpeza dos dados. A quantidade de dados removidos provavelmente não é grande, e há um custo para limpar dados, então o benefício aqui pode vir principalmente de uma análise melhor em vez de custos mais baixos.
Independentemente de as operações de dados estarem on-premises ou na nuvem, a análise de tráfego de rede mostra onde as coisas estão funcionando com eficiência e onde há gargalos desnecessários. O monitoramento do uso e da atividade da rede ajuda a identificar áreas em que as alterações de configuração podem aumentar o desempenho e a produtividade do usuário. O monitoramento de rede pode detectar casos em que o acesso aos dados está consumindo recursos excessivos de computação e armazenamento, em que há uma oportunidade para uma arquitetura mais eficaz que reduz os custos.
De onde vêm os seus dados? De onde você obtém os dados nos quais mais confia? Analisar e, em seguida, visualizar a linhagem de seus principais dados pode ajudá-lo a otimizar a governança de dados para aproveitar esses dados com mais eficiência, seja gerado internamente ou proveniente de fontes externas, especialmente com big data. Novamente, isso provavelmente não é um grande poupador de dinheiro, mas pode detectar dados de terceiros desnecessários ou subutilizados pelos quais você está pagando.
Você mesmo pode gerenciar sua arquitetura de dados, servidores, recursos e aplicativos ou permitir que um especialista lide com essas necessidades técnicas. Isso permite que você se concentre em seus negócios, em vez de nos meandros do gerenciamento de dados, em maior eficiência e em menor risco. Além disso, o pessoal especializado e as ferramentas utilizadas pelos prestadores de serviços podem ser capazes de fazer o trabalho a um custo menor. Vale a pena executar os números.
Algumas partes da sua empresa dependem muito dos dados, mas quais são cruciais? Como os dados estão sendo usados? Onde e quando está sendo usado? Quem está usando? Use esses insights para orientar o melhor uso de seus recursos de tecnologia e orçamento de gerenciamento de dados.
O objetivo de um programa de redução de custos de dados é ajudá-lo a fazer mais com custos mais baixos: Obtenha maiores insights de negócios e capacidade de resposta operacional de seus dados, gastando menos para gerenciar esses dados.
Os dados ajudam sua empresa a funcionar, oferecendo suporte a tudo, desde faturamento a logs de tradução, de documentos a catálogos de peças, de listas de preços a estoque. Usar esses dados operacionais de forma mais eficaz desbloqueia novas oportunidades. Mas todos os dias, esses dados estão crescendo – e com eles o custo. Felizmente, você pode tomar medidas para minimizar o custo dos dados e, ao mesmo tempo, impulsionar o crescimento dos negócios e melhorar a eficiência.
HeatWave permite que você use IA generativa e machine learning automatizados e integrados em um serviço em nuvem para transações e análises de escala do lakehouse. As empresas podem eliminar o custo e a complexidade de análises separadas e bancos de dados vetoriais, serviços de machine learning e processos de ETL, evitando os riscos de latência e segurança da movimentação de dados entre armazenamentos de dados. Com automação integrada baseada em machine learning, desenvolvedores e DBAs podem economizar tempo significativo, aumentar ainda mais o desempenho e reduzir custos. O HeatWave está disponível na Oracle Cloud Infrastructure (OCI), Amazon Web Services (AWS), Microsoft Azure e nos data centers dos clientes com a OCI Dedicated Region.
O desempenho da consulta e o custo-benefício do HeatWave Lakehouse são significativamente melhores. Muitas organizações em rápido crescimento usam o HeatWave para simplificar sua infraestrutura de dados e reduzir seus custos de gerenciamento de dados, melhorando o desempenho, a escalabilidade, a segurança e a produtividade.
Qual é a primeira etapa para sair de um data center?
Quando estiver planejando sair de um data center, faça um levantamento completo de aplicações, dados, serviços, usuários e requisitos de segurança. Tudo nesse levantamento exigirá um plano de migração, seja para fazer “lift and shift“ das aplicações e dos dados existentes para a nuvem, escolher novas aplicações ou criar novas do zero.
Qual é o tempo de vida útil dos equipamentos em um data center?
Grandes partes da infraestrutura do data center, como sistemas HVAC (aquecimento, ventilação e ar condicionado), distribuição de energia e sistemas de segurança física, podem durar uma década ou mais com manutenção regular. Os equipamentos de computação, como servidores, roteadores, switches e armazenamento, são bons por três a cinco anos, como regra básica, antes de se tornarem obsoletos.
Quem é responsável pela segurança na nuvem?
A segurança física da infraestrutura de nuvem, os servidores, a infraestrutura de rede etc., é gerenciada pelos provedores de nuvem. A responsabilidade por proteger o software e os serviços é compartilhada entre o provedor de nuvem e a empresa.
Quanto tempo leva para sair de um data center?
Planeje uma saída completa no data center para levar meses. Uma infraestrutura de TI maior pode levar anos. Tudo depende do tamanho do data center, de sua complexidade e do volume de dados. Grande parte desse tempo será consumido fazendo um inventário completo, desenvolvendo planos, criando e testando novos softwares (se necessário) e treinando. Como mudar de escritório, a migração e a saída em si são uma fase relativamente curta, uma vez que o planejamento completo está concluído.
Aprenda a aproveitar a IA generativa, criar modelos de machine learning, consultar dados em armazenamento de objetos ou explorar outros tópicos de interesse do HeatWave.