Seria difícil escrever a história do big data sem incluir o código aberto — os dois estão interligados. O desenvolvimento de software de código aberto foi um grande fator na evolução do big data. E a tecnologia de código aberto continua a ser parte integrante do ecossistema de big data devido à sua capacidade de inovação rápida. Na realidade, os nomes mais importantes de software em big data —Hadoop, Spark, Cassandra e Kafka—são de código aberto.
Embora o software de código aberto tenha a reputação de ser o favorito de amadores e desenvolvedores amadores, o mundo dos negócios vem adotando o código aberto em ambientes de missão crítica há algum tempo.
Veja a seguir algumas das razões que as empresas escolhem software de código aberto:
De fato, uma das maiores vantagens do código aberto é a sua comunidade de desenvolvedores. Os projetos de código aberto mais populares contam uma base sólida de desenvolvedores que trabalham na correção e melhoria da tecnologia. Os desenvolvedores são atraídos pelo código aberto por seus recursos competitivos e capacidades inovadoras, o que é especialmente valioso quando comparado ao que o software tradicional pode criar.
O código aberto é especialmente benéfico para empresas que não possuem desenvolvimento interno ou recursos de TI para criar seu próprio software. Como alternativa, as empresas que possuem esses recursos recorrem ao código aberto para fornecer a seus funcionários a tecnologia de ponta com a qual eles estão mais interessados em trabalhar.
A tecnologia de código aberto tem uma grande promessa em mãos. Mas não sem alguns desafios. De acordo com o estudo North Bridge and Black Duck Future of Open Source de 2016, quase 33% das empresas não têm nenhum processo para identificar, rastrear ou corrigir vulnerabilidades conhecidas de código aberto, o que pode deixá-las aberta a ameaças de segurança.
O código aberto têm sido vantajoso para a comunidade de big data. Com seu código pronto para uso, o software de código aberto permitiu que as empresas acelerem a comercialização de seus produtos. Mas o código aberto sempre veio acompanhado de algum risco. A vulnerabilidade de segurança OpenSSL Heartbleed em 2014 é apenas um exemplo.
Apesar dos benefícios obtidos por ter muitos contribuidores, o software de código aberto não é imune a erros comuns de programação e erros de segurança. A maioria dos engenheiros de software não rastreia o uso de código aberto, deixando muitas empresas inconscientes dos riscos resultantes de segurança e conformidade que podem estar enfrentando.
Para que o código aberto seja utilizável e eficiente, muitas empresas precisam se integrar e oferecer suporte de algum porte. O que é mais fácil de falar do que de fazer, pois, como senso comum, o código aberto nunca está finalizado. Sempre existe algo para resolver. Além disso, nem sempre é fácil de trabalhar cos produtos de código aberto. Pode ser necessário algum treinamento trabalhar com código aberto. Outra questão é a compatibilidade com outras aplicações e hardware existentes. Muitas empresas acabam adotam o código aberto através de outra empresa.
Empresas como a Oracle, Databricks, e DataStax trabalham com código aberto neste sentido. Essas empresas trouxeram o código aberto ao ambiente empresarial e a tornaram integralmente utilizável. Há um grande benefício nisso porque essas empresas agregam valor ao código aberto por meio de confirmações e várias outras melhorias.
No Open Source Summit de 2017, o fundador do Linux Linus Torvalds reconheceu a influência corporativa e o trabalho feito em projetos de código aberto por desenvolvedores corporativos e deu boas-vindas a isso. Ele disse "É muito importante ter empresas inseridas no contexto de código aberto". "Um aspecto que me deixa bastante feliz".
Em 2017, a Oracle foi nomeada uma das 35 melhores empresas que desempenham um papel importante no desenvolvimento e manutenção de software de código aberto. Com a compra da Sun Microsystems em 2010, a Oracle herdou algumas das tecnologias de código aberto mais populares do mundo. Nosso suporte para tecnologias de big data de código aberto tem sido um dos principais impulsionadores de crescimento para nós nos últimos anos. A Oracle continua seu suporte ao desenvolvimento e aos fundamentos do código aberto.
Quando se trata de big data, a Oracle é proativa no trabalho com código aberto. A próxima seção descreve como a Oracle usa código aberto em diversas áreas em nossa plataforma de big data. Na Oracle, trabalhar com big data envolve três etapas principais:
Muitos dos nossos clientes de big data exigem ofertas de código aberto. A Oracle está comprometida em desenvolver, oferecer suporte e promover o código aberto. Os produtos de integração de dados da Oracle, como Oracle Data Integration e Oracle GoldenGate, incluem tecnologia de código aberto, juntamente com muitas outras plataformas.
Também percebemos que muitos clientes desejam modernizar suas estruturas de código aberto e as tecnologias de suporte que estão em constante mudança. No lado da integração de dados, atualmente oferecemos suporte a cerca de vinte e cinco diferentes tecnologias de código aberto, fontes de dados, destinos e estruturas de execução. Algumas tecnologias às quais oferececemos suporte:
Atualmente, os clientes procuram pela maturidae de seus produtos de big data. Um dos fatores mais importantes a considerar é se o fornecedor possui uma estratégia de suporte aceitável em relação às estruturas de big data. É fundamental que o fornecedor não seja casual sobre seu compromisso com a tecnologia de código-fonte aberto.
Juntamente com a maturidade do produto, uma solução de negócios de big data normalmente será uma mistura de código aberto e não aberto. As empresas têm resolvido problemas de big data com soluções de código aberto, mas isso exige muito comprometimento, dedicação e expertise.
Você pode, e deve, aproveitar as tecnologias de código aberto sempre que fierem sentido dentro do seu cenário. Porém, geralmente será necessário fechar parcerias com outros fornecedores de tecnologia.
Por exemplo, nos primeiros dias de estabelecimento de data lakes, as empresas queriam alavancar um produto como o Kafka, com sua capacidade de receber muitas entradas e distribuir para muitas saídas. Porém, era necessário ter o Kafka mais confiável e robusto, uma tecnologia parecida com o Oracle GoldenGate. Embora o GoldenGate não seja de código aberto, o GoldenGate e o Kafka juntos são uma opção de ingestão melhor para um data lake do que usar um produto como o Sqoop com o Kafka, porque o GoldenGate é um produto muito mais robusto e maduro do que o Sqoop.
De uma perspectiva de gestão de dados, a pilha de produtos de big data da Oracle é fortemente baseada em código aberto.
A Oracle escolheu essa abordagem para aproveitar a inovação de código aberto e ter melhor controle sobre a funcionalidade disponibilizada aos clientes. O big data traz diversos componentes dentro da pilha que não param de evoluir. E por isso decidimos criar a nossa própria distribuição de código aberto do Hadoop.
Nós também acreditamos que usar software de código aberto permite que a Oracle ofereça o melhor suporte aos nossos clientes. Ao mesmo tempo, sabemos que outros ecossistemas de software estão desenvolvendo projetos interessantes de código aberto que estão evoluindo. Por isso a Oracle sempre contribui com diversas comunidades de desenvolvimento. Por exemplo, os esforços de desenvolvimento da Oracle estão caminhando rumo ao armazenamento de objetos na forma de data lake.
A Oracle contribui ativamente para comunidades de código aberto e oferece aos clientes alguns de nossos próprios IPs para melhor desempenho e recursos.
Na Oracle, não só adotamos R, como também a melhoramos. A redistribuição com suporte da Oracle do R de código aberto (que é um download gratuito) é compatível com a execução no banco de dados e no Hadoop e agora é mais rápida porque a paralelizamos.
O R pode ser executado em vários nós e em um cluster em vez de em uma única máquina, para que os clientes possam executar algoritmos maiores e mais complexos em mais conjuntos de dados sem depender de amostragem. As melhorias da Oracle para R permitem que os usuários usem a sintaxe R e forneçam diferentes implementações subjacentes que o tornam escalável e de alto desempenho.
Além disso, a Oracle fez as seguintes melhorias em R:
A Oracle expandiu para o espaço Hadoop, introduzindo a interface do R para Hive.
O compromisso da Oracle com R, Hadoop e código aberto vai muito além da tecnologia. Quando a comunidade do R criou o R Consortium em 2015, a Oracle foi um dos membros fundadores. O R Consortium foi fundado para oferecer benefícios e suporte à comunidade R de código aberto. A Oracle continua a apoiar o crescimento e o desenvolvimento do R e incentivou a adoção das melhores práticas para a qualidade do pacote R.
Os serviços analíticos Oracle Spatial e Oracle Graph e modelos de dados oferecem suporte a cargas de trabalho de big data em tecnologias de banco de dados Apache Hadoop e NoSQL. Incorpore bibliotecas e componentes de código aberto para arredondar nossas ofertas. A Oracle usa diversos componentes na infraestrutura, muitos atribuídos a projetos baseados em Apache.
A Oracle enxerga essa relação mutualmente benéfica. Por exemplo, nossas análises no lado espacial/gráfico são construídas sob medida, mas aceleramos esse processo porque o baseamos em um projeto de código aberto chamado Green-marl, que é uma linguagem específica de domínio para análise de dados gráficos que nos permite executar perguntas para análises para clientes com mais rapidez.
Quando a Oracle contribui com o código aberto, geralmente aproveitamos o código aberto em si, personalizamos e o melhoramos. Veja a seguir algumas contribuições da Oracle para o código aberto: