O que é Ciência de Dados?

Quem supervisiona o processo de ciência de dados?

Na maioria das organizações, os projetos de ciência de dados são normalmente supervisionados por três tipos de gerentes:

Gerentes de negócios:  Esses gerentes trabalham com a equipe de ciência de dados para definir o problema e desenvolver uma estratégia para análise. Eles podem ser o chefe de uma linha de negócios, como marketing, finanças ou vendas, e ter uma equipe de ciência de dados se reportando a eles. Eles trabalham em estreita colaboração com os gerentes de ciência de dados e TI para garantir que os projetos sejam entregues.

Gerentes de TI:  Os gerentes seniores de TI são responsáveis pela arquitetura e pelo planejamento da infraestrutura que oferecerão suporte para as operações de ciência de dados. Eles monitoram continuamente as operações e o uso de recursos para garantir que as equipes de ciência de dados operem de forma eficiente e segura. Esses gerentes também podem ser responsáveis pela criação e atualização de ambientes de TI para equipes de ciência de dados.

Gerentes de ciência de dados:  Esses gerentes supervisionam a equipe de ciência de dados e seu trabalho diário. Eles são criadores de equipes que podem equilibrar o desenvolvimento da equipe com o planejamento e o monitoramento do projeto.

Mas o jogador mais importante neste processo é o cientista de dados.

O que é um cientista de dados?

Como especialidade, a ciência de dados é jovem. Ela cresceu a partir dos campos de análise estatística e data mining. The Data Science Journal foi lançado em 2002, publicado pelo Conselho Internacional de Ciência: Comitê de Dados para Ciência e Tecnologia. Em 2008, o título de cientista de dados surgiu e a área decolou rapidamente. Houve uma escassez de cientistas de dados desde então, embora mais e mais faculdades e universidades tenham começado a oferecer graduação em ciência de dados.

As funções de um cientista de dados podem incluir o desenvolvimento de estratégias para analisar dados, preparar dados para análise, explorar, analisar e visualizar dados, construir modelos com dados usando linguagens de programação, como Python e R, e implementar modelos em aplicativos.

O cientista de dados não trabalha sozinho. Na verdade, a ciência de dados mais eficaz é feita em equipes. Além de um cientista de dados, essa equipe pode incluir um analista comercial que define o problema, um engenheiro de dados que prepara os dados e como eles são acessados, um arquiteto de TI que supervisiona os processos e a infraestrutura subjacentes e um desenvolvedor de aplicativos que implanta o modelos ou os resultados da análise em aplicativos e produtos.

Desafios de implementação de projetos de ciência de dados

Apesar da promessa da ciência de dados e dos enormes investimentos em equipes de ciência de dados, muitas empresas não estão percebendo o valor total de seus dados. Em sua corrida para contratar talentos e criar programas de ciência de dados, algumas empresas experimentaram fluxos de trabalho de equipe ineficientes, com pessoas diferentes usando diferentes ferramentas e processos que não funcionam bem juntos. Sem um gerenciamento mais disciplinado e centralizado, os executivos podem não ver o retorno total de seus investimentos.

Esse ambiente caótico apresenta muitos desafios.

Os cientistas de dados não podem trabalhar com eficiência. Como o acesso aos dados deve ser concedido por um administrador de TI, os cientistas de dados costumam esperar muito tempo pelos dados e pelos recursos necessários para analisá-los. Depois de obter acesso, a equipe de ciência de dados pode analisar os dados usando ferramentas diferentes e possivelmente incompatíveis. Por exemplo, um cientista pode desenvolver um modelo usando a linguagem R, mas o aplicativo em que será usado é escrito em uma linguagem diferente. É por isso que pode levar semanas, ou mesmo meses, para implementar os modelos em aplicativos úteis.

Os desenvolvedores de aplicativos não podem acessar o machine learning utilizável. Às vezes, os modelos de machine learning que os desenvolvedores recebem precisam ser recodificados ou não estão prontos para serem implementados em aplicativos. E como os pontos de acesso podem ser inflexíveis, os modelos não podem ser implantados em todos os cenários e a escalabilidade é deixada para o desenvolvedor do aplicativo.

Os administradores de TI gastam muito tempo em suporte. Por causa da proliferação de ferramentas de código aberto, a TI pode ter uma lista cada vez maior de ferramentas para oferecer suporte. Um cientista de dados em marketing, por exemplo, pode estar usando ferramentas diferentes de um cientista de dados em finanças. As equipes também podem ter fluxos de trabalho diferentes, o que significa que a equipe de TI deve reconstruir e atualizar continuamente os ambientes.

Os gerentes de negócios estão muito distantes da ciência de dados. Os fluxos de trabalho de ciência de dados nem sempre são integrados aos sistemas e processos de tomada de decisões de negócios, dificultando a colaboração dos gerentes de negócios de maneira conhecida com os cientistas de dados. Sem uma melhor integração, os gerentes de negócios acham difícil entender por que leva tanto tempo para ir do protótipo à produção, e é menos provável que eles apoiem o investimento em projetos que acreditam ser lentos demais.

A plataforma de ciência de dados oferece novos recursos

Muitas empresas perceberam que, sem uma plataforma integrada, o trabalho de ciência de dados era ineficiente, inseguro e difícil de dimensionar. Essa percepção levou ao desenvolvimento de plataformas de ciência de dados. Essas plataformas são hubs de software em torno dos quais todo o trabalho de ciência de dados ocorre. Uma boa plataforma alivia muitos dos desafios da implementação de ciência de dados e ajuda as empresas a transformar seus dados em informações de maneira mais rápida e eficiente.

Com uma plataforma de machine learning centralizada, os cientistas de dados podem trabalhar em um ambiente colaborativo usando suas ferramentas de código aberto favoritas, com todo o seu trabalho sincronizado por um sistema de controle de versão.

Os benefícios de uma plataforma de ciência de dados

Uma plataforma de ciência de dados reduz a redundância e impulsiona a inovação, permitindo que as equipes compartilhem códigos, resultados e relatórios. Ele remove gargalos no fluxo de trabalho, simplificando o gerenciamento e incorporando as melhores práticas.

Em geral, as melhores plataformas de ciência de dados visam:

• Tornar os cientistas de dados mais produtivos, ajudando-os a acelerar e entregar modelos mais rapidamente e com menos erros
• Facilitar o trabalho dos cientistas de dados com grandes volumes e variedades de dados
• Fornecer inteligência artificial confiável de nível empresarial que é livre de preconceitos, auditável e reproduzível

As plataformas de ciência de dados são construídas para a colaboração de uma variedade de usuários, incluindo cientistas de dados especialistas, cientistas de dados do cidadão, engenheiros de dados e engenheiros ou especialistas em machine learning. Por exemplo, uma plataforma de ciência de dados pode permitir que cientistas de dados implantem modelos como APIs, facilitando sua integração em diferentes aplicativos. Os cientistas de dados podem acessar ferramentas, dados e infraestrutura sem ter que esperar pela equipe de TI.

A demanda por plataformas de ciência de dados explodiu no mercado. De fato, o mercado de plataformas deverá crescer a uma taxa anual composta de mais de 39% nos próximos anos e está projetada para atingir US$ 385 bilhões até 2025.

O que um cientista de dados precisa em uma plataforma

Se você estiver pronto para explorar os recursos das plataformas de ciência de dados, há alguns recursos importantes a serem considerados:

Escolha uma interface do usuário baseada em projeto que incentive a colaboração. A plataforma deve capacitar as pessoas a trabalharem juntas em um modelo, desde a concepção até o desenvolvimento final. Ela deve fornecer a cada membro da equipe acesso de autoatendimento aos dados e recursos.

Priorize a integração e a flexibilidade. Certifique-se de que a plataforma inclua suporte para as ferramentas de código aberto mais recentes, provedores de controle de versão comuns, como GitHub, GitLab e Bitbucket e forte integração com outros recursos.

Inclua recursos de nível empresarial. Assegure-se de que a plataforma possa escalar com seus negócios à medida que sua equipe cresce. A plataforma deve estar altamente disponível, ter controles de acesso robustos e suportar um grande número de usuários simultâneos.

Torne a ciência de dados mais autônoma. Procure uma plataforma que tire o peso da equipe de TI e da engenharia e facilite para os cientistas de dados criarem ambientes instantaneamente, acompanharem todo o trabalho e implementarem modelos facilmente na produção.

Garanta uma implementação de modelo mais fácil. A implementação e a operacionalização do modelo são uma das etapas mais importantes do ciclo de vida de machine learning, mas costuma ser desconsiderada. Certifique-se de que o serviço escolhido facilite a operacionalização de modelos, seja fornecendo APIs ou garantindo que os usuários criem modelos de uma forma que permita uma integração fácil.

Quando uma plataforma de ciência de dados é a medida certa

Sua organização pode estar pronta para uma plataforma de ciência de dados, se você percebeu que:

• Produtividade e colaboração estão mostrando sinais de tensão
• Modelos de machine learning não podem ser auditados ou reproduzidos
• Modelos nunca chegam à produção

Uma plataforma de ciência de dados pode agregar valor real ao seu negócio. A plataforma de ciência de dados da Oracle inclui uma ampla gama de serviços que fornecem uma experiência abrangente de ponta a ponta, projetada para acelerar a implementação do modelo e melhorar os resultados de ciência de dados.