Análises ao vivo de dados

Aplique as melhores práticas para melhorar a análise de seus dados críticos de varejo

A capacidade de realizar análises usando dados reais de alta qualidade é crucial para organizações em muitos setores, mas é particularmente importante para varejistas. Insights oportunos extraídos de dados precisos podem ajudar a melhorar a satisfação do cliente, oferecendo recomendações de produtos no momento e garantindo que o estoque esteja no lugar certo na hora certa; otimize os esforços de merchandising, marketing e vendas com avaliações em tempo real do desempenho das promoções; custos e riscos mais baixos por meio de previsões de estoque mais precisas; e mais. Resumindo, a análise efetiva de dados reais tem o potencial de impactar positivamente as operações de varejo em toda a sua organização.

Para obter o maior valor da análise de dados reais, você precisa implementar uma única abordagem otimizada para o gerenciamento do ciclo de vida dos dados em seus conjuntos mais críticos. Essa abordagem ajuda você

• Reduza a complexidade e a duplicação de dados.
• Minimize o risco e os custos associados a dados de baixa qualidade.
• Crie uma visão única e consistente dos dados do cliente
• Forneça dados de forma consistente em toda a organização.
• Disponibilize inteligência de negócios (Business Intelligence, BI) de autoatendimento para a geração de relatórios e análise avançada de dados, independentemente das ferramentas usadas pelas equipes de domínio.
• Crie flexibilidade em seu cenário de dados, mantendo o custo de mudança no futuro o mais baixo possível.

Modernize suas análises com uma solução analítica otimizada

A arquitetura a seguir demonstra como a Oracle Data Platform foi criada para fornecer aos varejistas uma estrutura coesa e abrangente para gerenciar todo o ciclo de vida da análise de dados. Em seu centro estão dois componentes críticos: o armazenamento de dados operacionais (Operational Data Store, ODS) - usado para armazenar dados operacionais que são ingeridos e persistidos em formato bruto sem transformações aplicadas - e um data warehouse, onde os dados são armazenados em formato otimizado para desempenho de consulta e análises avançadas.

Quando combinados, o ODS e o data warehouse criam uma plataforma de dados capaz de análises mais eficientes e avançadas. A combinação permite a aplicação eficaz de análises avançadas e ferramentas de visualização, mantendo a capacidade de investigar os dados em sua forma bruta para identificar anomalias ou insights sem afetar o desempenho da aplicação transacional subjacente. Essa abordagem é benéfica para os varejistas porque evita a duplicação contraditória e imprecisa dos dados de mesma origem, que, se usados para informar as decisões de uma organização, podem causar atrasos, erros e, por fim, perda de vendas.

Vamos dar uma olhada em como a Oracle Data Platform incorpora um ODS, data warehouse e outros componentes importantes para ajudar os varejistas a usar com eficiência a análise de dados reais.

Esta imagem mostra como a Oracle Data Platform para varejo pode ser usada para oferecer suporte à análise de dados reais e históricos de forma otimizada. A plataforma inclui os seguintes cinco pilares:

1. 1. Fontes de dados, Descoberta
2. 2. Conexão, Ingestão, Transformação
3. 3. Persistência, Curadoria, Criação
4. 4. Análise, Aprendizado, Predição
5. 5. Medição, Ação

O pilar Fontes de Dados, Descoberta inclui duas categorias de dados.

1. 1. As aplicações incluem dados de ERP, SCM, CX e WMS, Fusion SaaS, NetSuite, E-Business Suite, PeopleSoft, JD Edwards, Salesforce, SAP e Workday.
2. 2. Os registros comerciais compreendem transações de vendas, dados de clientes, dados de produtos, transações de devoluções, dados de fornecedores, dados de estoque, dados de sistemas de ponto de venda e dados de receita e margem.

O pilar Conexão, Ingestão, Transformação abrange dois recursos.

1. 1. A ingestão em lote usa OCI Data Integration, Oracle Data Integrator e ferramentas de banco de dados. A captura de dados alterados usa OCI GoldenGate e Oracle Data Integrator.
2. 2. Ambos os recursos se conectam unidirecionalmente ao recurso de armazenamento de dados operacionais no pilar Persistência, Curadoria, Criação.

O pilar Persistência, Curadoria, Criação abrange três recursos.

1. 1. O armazenamento de dados operacionais usa Oracle Autonomous Transaction Processing.
2. 2. O armazenamento de dados de serviço usa Oracle Autonomous Data Warehouse e ferramentas de banco de dados.
3. 3. A governança usa OCI Data Catalog.

Esses recursos estão conectados no pilar. O armazenamento de dados operacionais é conectado unidirecionalmente ao armazenamento de dados de serviço.

Um recurso se conecta ao pilar Análise, Aprendizado, Previsão: o armazenamento de dados de serviço se conecta unidirecionalmente ao recurso de análise e visualização.

O pilar Análise, Aprendizado, Previsão abrange um recurso.

1. 1. Análise e visualização usam Oracle Analytics Cloud, GraphStudio e ISVs.

O pilar Medição, Ação abrange uma única categoria de consumidor: painéis e relatórios.

Os três pilares centrais—Ingestão, Transformação; Persistência, Curadoria, Criação; e Análise, Aprendizado, Previsão — têm suporte de infraestrutura, rede, segurança e IAM.

Existem dois (ou opcionalmente três) métodos principais de injeção de dados em uma arquitetura para permitir que os varejistas analisem melhor seus dados.

• Para iniciar nosso processo, precisamos obter visibilidade dos dados atualizados de nossos registros e aplicações de negócios (por exemplo, níveis de estoque em locais de varejo). Para fazer isso, usamos o OCI GoldenGate para permitir a ingestão de dados de captura de dados alterados (Change Data Capture, CDC) quase em tempo real de bancos de dados operacionais (processamento transacional). Isso incluirá todos os registros ou conjuntos de registros discretos relacionados a transações de varejo, incluindo ponto de venda e transações na Web (vendas e devoluções) e dados de estoque, logística e cadeia de suprimentos. Além de acionar a ingestão de dados usando marcações de data/hora ou filtros de sinalização, os dados podem ser ingeridos por meio de um mecanismo CDC que detecta as alterações à medida que ocorrem. O OCI GoldenGate fornece um mecanismo de CDC que pode processar alterações de origem de forma não invasiva, processando arquivos de log de transações concluídas e armazenando essas alterações capturadas em arquivos de trilha externos, independentemente do banco de dados. As alterações são então transferidas de forma confiável para um banco de dados de teste ou armazenamento de dados operacionais.
• Agora podemos adicionar conjuntos de dados relevantes para as principais transações de varejo, incluindo estoque e dados de produtos, registros de clientes e ofertas e preços. Esses conjuntos de dados costumam conter grandes volumes de dados, geralmente locais, e, na maioria dos casos, a ingestão em batch é a mais eficiente.
  
  Dito isso, há algumas coisas a serem consideradas ao decidir como será feita a coleta de dados transacionais de fontes operacionais para preencher armazenamentos de dados operacionais. As técnicas disponíveis variam principalmente em termos de latência de integração de dados, desde lotes diários programados até integração contínua em tempo real. Os dados são capturados de fontes por meio de consultas incrementais que filtram com base em uma marcação de data/hora ou sinalizador. As técnicas também variam se usam uma operação pull ou push; uma operação pull extrai novos dados em intervalos fixos, enquanto uma operação push carrega dados no destino assim que uma alteração aparece. Uma ingestão em lote diária é mais adequada se a atualização intradiária não for necessária para os dados, por exemplo, dados sobre tendências de longo prazo ou dados que são calculados apenas uma vez por dia, como informações de fechamento financeiro. Os carregamentos em lote podem ser executados em uma janela de tempo de inatividade se o modelo de negócios não exigir disponibilidade de data warehouse 24 horas por dia. Diferentes técnicas, como particionamento em tempo real ou trickle e flip, existem para minimizar o impacto de uma carga em um data warehouse ativo quando nenhuma janela de tempo de inatividade está disponível.
• Alternativamente, também podemos usar ingestão de streaming para ingerir dados lidos de beacons por meio de IoT, comunicação máquina a máquina e outros meios. Imagens de vídeo também podem ser consumidas dessa maneira. Além disso, nesse caso de uso, pretendemos analisar e responder rapidamente ao sentimento do consumidor, avaliando mensagens de redes sociais, respostas a postagens próprias e mensagens de tendências. Mensagens/eventos de redes sociais (aplicação) serão ingeridos com a opção de executar alguma transformação/agregação básica antes que os dados sejam colocados no armazenamento em nuvem. A análise de fluxo adicional pode ser usada para identificar eventos e comportamentos correlacionados do consumidor, e os padrões identificados podem ser realimentados (manualmente) para que o OCI Data Science examine os dados brutos.

A persistência e o processamento de dados são baseados em dois componentes.

• O armazenamento de dados operacionais é usado para relatórios operacionais sobre dados brutos e como uma fonte para um armazenamento de dados de serviço corporativo ou de nível de domínio ou data warehouse corporativo (Enterprise Data Warehouse, EDW). É um elemento complementar a um EDW em um ambiente de suporte à decisão. Um ODS é tipicamente um banco de dados relacional projetado para integrar e manter dados de várias fontes para serem usados para operações adicionais, relatórios, controles e suporte a decisões operacionais, enquanto o EDW é usado para suporte a decisões táticas e estratégicas. Normalmente, o modelo de dados do ODS é muito próximo do modelo da aplicação de origem do OLTP. Quaisquer dados de origem devem ser aceitos pelo ODS e quase nenhuma regra de qualidade de dados deve ser implementada, garantindo que você tenha um armazenamento que represente todos os dados do dia dos sistemas operacionais. Ao contrário de um armazenamento de dados mestre de produção, os dados não são passados de volta para o sistema operacional. Armazéns de dados são tipicamente somente para leitura e atualizados em lote em uma programação específica, enquanto os armazenamentos de dados operacionais são mantidos mais próximos do tempo real e são alimentados constantemente.
• Agora criamos conjuntos de dados processados prontos para serem mantidos em forma relacional otimizada para curadoria e desempenho de consulta no armazenamento de dados de serviço. Nesse caso de uso, o armazenamento de dados de serviço é um data warehouse, um tipo de plataforma de persistência projetada para oferecer suporte a atividades de business intelligence e análises cada vez mais avançadas. O principal objetivo de um data warehouse é consolidar e fornecer indicadores precisos aos usuários corporativos para ajudá-los a tomar decisões informadas em seu trabalho diário, bem como em decisões de negócios estratégicas maiores. Para isso, os data warehouses são altamente especializados, geralmente contêm grandes quantidades de dados históricos e destinam-se exclusivamente a realizar consultas e análises. Um data warehouse centraliza e consolida grandes quantidades de dados de várias fontes, como arquivos de log de aplicações e transações, e então os entrega em formato ideal para análise. Seus recursos analíticos permitem que as organizações obtenham informações de negócios úteis de seus dados para melhorar a tomada de decisões. Com o tempo, cria-se um registro histórico que pode ser inestimável para cientistas de dados e analistas de negócios. Devido a esses recursos, um data warehouse pode ser considerado a “fonte da verdade” de uma organização. Tem havido uma tendência de ver os data warehouses puramente como ativos de tecnologia, mas na verdade eles fornecem um ambiente exclusivo para reunir usuários corporativos e TI para desenvolver e oferecer um entendimento compartilhado do ambiente operacional de um varejista e para concluir tarefas como
  • Definir as necessidades do negócio (indicadores-chave); identificar dados de origem que dizem respeito a indicadores-chave; e especificar regras de negócios para transformar informações de origem em indicadores-chave
  • Modelar a estrutura de dados do armazém de destino para armazenar os principais indicadores
  • Popular os indicadores ao implementar regras de negócios
  • Medir a precisão geral dos dados ao configurar regras de qualidade de dados
  • Desenvolver relatórios sobre os principais indicadores
  • Disponibilizar indicadores-chave e metadados para usuários corporativos por meio de ferramentas de consulta ad hoc ou relatórios predefinidos
  • Medir a satisfação dos usuários corporativos e adicionar ou modificar indicadores-chave

A capacidade de analisar, aprender e prever é construída em duas tecnologias.

• Os serviços de análise e visualização fornecem análise descritiva (descreve as tendências atuais com histogramas e gráficos), análise preditiva (prevê eventos futuros, identifica tendências e determina a probabilidade de resultados incertos) e análise prescritiva (propõe ações adequadas, levando a uma tomada de decisão ideal), permitindo que os varejistas respondam a perguntas como
  • Como as vendas reais neste período se comparam ao plano atual?
  • Qual é o valor de varejo do estoque disponível e como ele se compara ao mesmo período do ano passado?
  • Quais são os itens mais vendidos em uma divisão ou departamento?
  • Quão eficaz foi a última promoção?

  Juntamente com o uso de análises e visualizações avançadas, os modelos de machine learning podem ser desenvolvidos, treinados e implementados.

  A governança é um fator crítico a ser considerado ao criar uma solução como essa. Os usuários corporativos contam com a precisão dos principais indicadores do data warehouse para tomar decisões. Se esses indicadores estiverem errados, as decisões provavelmente também estarão erradas. Dependendo da estratégia de qualidade de dados que você definiu, os usuários corporativos provavelmente precisarão participar ativamente do monitoramento de discrepâncias de dados. Eles terão que ajudar a equipe de TI a refinar a forma como os indicadores são calculados e auxiliar na qualificação e identificação de dados incorretos. Isso geralmente leva à modificação e à melhoria testável das regras de negócios.

• Nossos dados e modelos selecionados, testados e de alta qualidade podem ter suas regras e políticas de governança aplicadas e podem ser expostos como um produto de dados (API) em uma arquitetura de malha de dados para distribuição em toda a organização de varejo. Isso pode ser fundamental para resolver problemas de qualidade de dados. A má qualidade dos dados afeta quase todas as organizações de varejo. Dados inconsistentes, imprecisos, incompletos e desatualizados geralmente são a causa raiz de problemas onerosos, como ineficiências operacionais, análises defeituosas, economias de escala não realizadas e clientes insatisfeitos. Esses problemas de qualidade de dados e os problemas de negócios associados a eles podem ser resolvidos ao comprometer-se com um esforço abrangente de qualidade de dados em toda a empresa, explorando os recursos da arquitetura descritos acima.

Tome decisões melhores com dados melhores

A Oracle Data Platform foi desenvolvida para garantir que você tenha acesso, em toda a organização, a dados consistentes e de alta qualidade quando e onde precisar, para que você possa fazer o seguinte:

• Tomar decisões mais bem informadas.
• Minimizar o custo de mudanças futuras com um cenário de dados consistente, mas flexível.
• Reflitir mudanças de processos e dados muitas vezes com menos silos e sem impacto na disponibilidade e na qualidade dos dados.
• Reduzir o risco de erros em relatórios financeiros e regulatórios críticos, eliminando cópias em silos dos mesmos dados com diferentes lógicas de transformação em todo o cenário de dados corporativos.
• Fornecer análises avançadas de autoatendimento e descoberta de dados para geração de relatórios com uma disponibilidade de dados muito melhor — o acesso aos dados não está mais vinculado às ferramentas específicas usadas pelas equipes de domínio.
• Reduzir os custos com armazenamento para o crescimento do ODS e outros armazenamentos de dados.
• Passar mais tempo analisando o insight que os dados fornecem e menos tempo identificando as discrepâncias causadas por várias cópias de dados em silos desconectados.
• Reduzir o risco ao não ter mais várias cópias de dados, o que aumenta a área de ataque.