Oracle Cloud: Introdução ao Oracle Big Data Cloud (Parte I)

Por Gokhan Atil O ACE director, Joel Pérez O ACE director & Evandro Giachetto
Publicado en octubre 2017


Nos últimos anos a Oracle tem se dedicado à computação em nuvem e disputa uma corrida muito dura com seus concorrentes. Para se destacar nessa corrida a Oracle oferece mais serviços, dia após dia. Um dos serviços oferecidos ao usuário final é o “Oracle Big Data Cloud”.  Pude usar este serviço criando uma conta de teste e decidi escrever uma série de artigos para aqueles que gostariam de usar ou conhecer este serviço.


Na minha opinião, a parte mais dificil em se criar um ecosistema Big Data está na execução de muitos projetos de software open source ao mesmo tempo e integrá-los uns com os outros. Existem 3 grandes players no mercado para ajudar os usuários finais a construir uma solução integrada e testada para Big Data: Cloudera, Hortonworks e MapR. A Oracle fez parceria com a Cloudera para construir o Oracle Big Data Appliance e o Oracle Big Data Cloud Service. A Oracle também oferece o serviço “Oracle Big Data Cloud” que é baseado no Hortonworks e que será nosso assunto neste artigo. Criar um serviço “Oracle Big Data Cloud” é simples. Com ele você obtem um cluster big data pronto para uso em cerca de 15 minutos após fornecer as informações básicas, como o nome do cluster, o número de servidores (nós), CPU e tamanho dos discos para cada nó e a senha de administrador.

 

Outros artigos nesta série:
Introdução ao Oracle Big Data Cloud (Parte II) - Serviços
Introdução ao Oracle Big Data Cloud (Parte III) - Ambari
Introdução ao Oracle Big Data Cloud (Parte IV) - Zeppelin
Introdução ao Oracle Big Data Cloud (Parte V) - Pig
Introdução ao Oracle Big Data Cloud (Parte VI) - Hive

Antes de continuar a leitura deste artigo, convidamos você a nos seguir e fazer parte de nossa rede. Para ficar atualizado com conteúdo semanal de artigos "Oracle Cloud", visite nosso Blog: Joel Pérez’s OTN Community Blog: https://community.oracle.com/blogs/Sir.DBaaSJoelPerez

Para ver a lista de artigos:
https://community.oracle.com/people/Sir.CloudDBaaSjoelperez/content?customTheme=otn&filterID=contentstatus%5Bpublished%5D~objecttype~objecttype%5Bblogpost%5D

 

Nossa média de publicação é de dois artigos de conteúdo semanais "Oracle Cloud"
Outra alternativa para seguir a publicação de nossos artigos faz parte de nossa rede no LinkedIn:

Gokhan Atil 's LinkedIn: https://www.linkedin.com/in/gokhanatil/
Joel Perez’s LinkedIn ( +7.5k Contacts ): www.linkedin.com/in/SirDBaaSJoelPerez
Evandro Giachetto’s LinkedIn:  https://www.linkedin.com/in/evandrogiachetto/
Join Our LinkedIn Group:  Oracle Cloud DBaaS

 

Agora continuando com o artigo.

Primeiro vamos criar um serviço “Oracle Big Data Cloud”. Após criar a conta de teste no Oracle Cloud, você estará logado no painel de controle do “Oracle Cloud”. Através deste painel você poderá visualizar todos seus serviços e também adicionar novos serviços.

 

 

 

 

 

 

 

 

 






Quando clicamos em “Create Service” e selecionamos “Big Data – Compute Edition”, somos direcionados à página do serviço “Oracle Big Data Cloud”. Nesta página, podemos clicar em “Create Service” para executar um assistente muito simples, que possui apenas 3 passos, para criar nosso cluster big data.

 

 

 

 

 

 

 

 





No primeiro passo informamos o nome do cluster e clicamos em “Next”. No meucaso  “bilyonveri” – Este será o nome do meu cluster.

 

 

 

 

 

 

 

 

 

 

 







No segundo passo nós informamos os detalhes do serviço (número de nós, CPU, etc.). Podemos utilizar um total de 6 CPUs em uma conta de teste portanto, como um nó deve ter um mínimo de 2 CPUs, podemos criar um cluster com um máximo de 3 nós. Uma vez que o tamanho total de disco que podemos utilizar é de cerca de 500GB (Eu acredito que será substituído por “read request”), podemos informar até 80GB de tamanho hdfs por nó. Eu recomendo que você escolha o tipo de instalação “full”. Caso selecione o “basic”, você irá obter apenas os componentes mais básicos, que apenas permitirão que trabalhe com o Spark.
Embora criemos um container de armazenamento em cloud, nosso cluster big data não irá utilizá-lo.

 

No último passo, confirmamos as configurações e clicamos no botão “create”.

 

 

 

 

 

 

 

 

 

 

 








Quando estiver criado, podemos consultar o status geral do serviço clicando no nome do mesmo. Esta página também nos permite parar e reiniciar o serviço, definir permissões de acesso e acessar o console do Oracle Big Data Cluster.

Os seguintes serviços estão instalados em nosso cluster:

  • HDFS (2.7.1.2.4)
  • YARN + MapReduce2 (2.7.1.2.4)
  • Tez (0.7.0.2.4)
  • Hive (1.2.1.2.4)
  • Pig (0.15.0.2.4)
  • ZooKeeper (3.4.6.2.4)
  • Spark (1.6.x.2.4)
  • Zeppelin Notebook (0.6.0)
  • Alluxio (1.2.0)
  • BDCSCE Logstash Agent (0.0.1)
  • Nginx Reverse Proxy (0.0.1)
  • Spark Cloud Service UI (0.5.0)
  • Spocs Fabric Service (0.1)


Talvez estes serviços podem ser diferentes para você (caso você os tenha criado após eu publicar este artigo). Tecnologias Big Data (e serviços relacionados a big data) estão mudando muito rapidamente. Hoje a Oracle utiliza Hortonworks DP 2.4.2 – Plataforma de dados corrente do hortonworks (2.6) e vem com diferentes serviços na configuração padrão. Portanto, esses serviços provavelmente mudarão quando a Oracle atualizar a versão do HDP que eles utilizam. No meu próximo artigo vou explicar para que esses serviços são utilizados.

 

 

 

 

 

 

 





Para monitorar nosso cluster, clique em “big data cluster console”.

 

 

 

 

 

 

 

 

 

 






O console, que não apenas nos mostra o status geral do sistema, também nos permite ver os arquivos no sistema de arquivos HDFS, acessar ao Zeppelin notebook (eu também irei escrever uma publicação separada sobre isso) e modificar os parametros do gerenciador do recursos (resource manager)
Isso é suficiente para esta publicação.
Nós esperamos que este artigo tenha sido útil e nós te convidamos a ler nossas próximas publicações com o foco em Oracle Cloud.


 


Gokhan Atil é um Administrador de Banco de Dados Senior comexperiênciaprática em Oracle, PostgreSQL, Microsoft SQL Server, MySQL e bancos de dados NoSQL. Ele é um Oracle Certified Professional (OCP) em EBS R12, Oracle 10g e 11g. Ele também é especialista em Oracle Enterprise Manager. Gokhan é membro fundador e vice presidente do Turkish Oracle UserGroup (TROUG). Elejápalestrou em váriasconferênciasinternacionaisincluindo o Oracle Open World. Ele é co-autor do livro "Expert Oracle Enterprise Manager 12c" e possuium blog relacionado a Oracle desde 2008: www.gokhanatil.com. Gokhanrecebeu o título de Oracle ACE em 2011 e Oracle ACE Director em 2016 por suacontribuições positivas à comunidade Oracle.


Joel Pérez é um DBA (Oracle ACE Director, Maximum Availability OCM, OCM Cloud Admin. & OCM12c/11g) Especialista com mais de 17 anos de experiência real no mundo da tecnologia Oracle, especializada na concepção e implementação de soluções: Nuvem, alta disponibilida de, recuperação de desastres, Upgrades, replicação e toda a área relacionada com bancos de dados Oracle. Joel serve como "Senior Database Cloud Architect" para en.Enmotech.com Yunhe ENMO (Beijing) Technology Co. Ltd. Beijing, China.
Conectar com Joel: Conecte-se com Joel’s Linkedin para ser atualizado com as informações mais notáveis relacionadas ao Oracle Cloud: www.linkedin.com/in/SirDBaaSJoelPerez & Joel Pérez’s
Blog: https://community.oracle.com/blogs/Sir.DBaaSJoelPerez


Evandro Giachetto é um DBA Oracle com 12+ anos de experiência em tecnologia Oracle, graduado em Tecnologia da Informação e construiu a base de sua carreira atuando em projetos internacionais como Sprint, BT e Ericsson. É especialista em tecnologias de Alta Disponibilidade, possui uma paixão quase incontrolável por performance SQL, apoiada pelos anos de experiência como Desenvolvedor PL/SQL, e compartilha dessa paixão através do blog dbaoracle.eti.br Oracle Database Certified SQL Expert e Oracle Database Administrator Certified Associate.