Storage Gateway

Com o Storage Gateway, você pode facilmente mover dados gerados por aplicações tradicionais compatíveis com protocolos de sistema de arquivos populares, como NFS para Object Storage, sem precisar modificar a aplicação para integrar-se às APIs REST. O Storage Gateway oferece armazenamento em nuvem praticamente ilimitado para aplicações locais tradicionais, que anteriormente não podiam aproveitar a escalabilidade, a durabilidade e o custo-benefício do Object Storage.

Não, o Storage Gateway não deve ser usado como um armazenamento conectado à rede de uso geral. Embora o Storage Gateway seja, de várias maneiras, um sistema de arquivos compartilhado virtual, sua função principal é a movimentação de dados para a nuvem. O Storage Gateway não foi desenvolvido para lidar com a carga de trabalho transacional que um sistema de arquivos compartilhado com recursos completos pode manipular.

O Storage Gateway é uma ferramenta eficiente para mover dados de seu data center on-premises para a nuvem. Você pode usar esse serviço para casos de uso como backup/arquivo, recuperação de desastre, migração de dados e cargas de trabalho híbridas (on-premise e em nuvem). Com o Storage Gateway, você pode facilmente criar um script da movimentação de dados frios dos servidores NAS on-premises para o Oracle Cloud Infrastructure Object Storage.

Armazenamento em rede de uso geral - o Storage Gateway não é um servidor de arquivos de uso geral e não deve ser usado como um substituto para os appliances de armazenamento em rede tradicionais.

Sincronização e compartilhamento de arquivos - Embora o Storage Gateway seja um movimentador de dados eficaz, não substitui os serviços de sincronização e compartilhamento de arquivos. Avalie os serviços da Oracle como Oracle Document Cloud service para sincronizar seus arquivos e compartilhar suas necessidades.

Colaboração de conteúdo - o Storage Gateway não oferece suporte à leitura e gravação simultâneas de várias instâncias de um único bucket do Object Storage. O Storage Gateway não deve ser usado como uma ferramenta que permite que equipes distribuídas colaborem na criação e gerenciamento de conteúdo.

Arquivos frequentemente modificados - quando um arquivo existente é modificado, seu conteúdo é lido no Object Storage, se não estiver presente no cache. O arquivo modificado é posteriormente carregado como uma nova versão/instância do arquivo. Portanto, os arquivos que são modificados com frequência não são ideais, tanto em termos de consumo de largura de banda de upload/download quanto de utilização da capacidade.

O Storage Gateway é um serviço gratuito para todos os clientes da Oracle Cloud Infrastructure.

O Storage Gateway oferece suporte ao protocolo NFSv4.

Não, o Storage Gateway atualmente não oferece suporte ao ambiente operacional Windows.

Sim, você pode usar o Storage Gateway para replicar dados de qualquer armazenamento, desde que o cliente NFS que está fazendo a cópia de dados possa facilitar a replicação ou usar o recurso de sincronização na nuvem do Storage Gateway.

Sim, podemos facilitar essa migração. Entre em contato conosco sobre o uso do utilitário de migração em nuvem do Storage Gateway.

Não, você não precisa usar APIs do Object Storage para usar o Storage Gateway. O Storage Gateway executa as conversões de NFS para API REST para você.

Ao criar um sistema de arquivos no Storage Gateway, um bucket do Object Storage com o mesmo nome é criado na região da Oracle Cloud Infrastructure de sua escolha. O Storage Gateway gerencia completamente seus dados no bucket do Object Storage para você. Você só precisa interagir com o sistema de arquivos local usando comandos normais do sistema de arquivos.

Não, o Storage Gateway não é compatível com compactação ou eliminação de duplicidade.

Para obter suporte do Storage Gateway, entre em contato com o Oracle Support em https://support.oracle.com.

Sim, você pode criar vários sistemas de arquivos em uma única instância do Storage Gateway. O hardware no qual o host está sendo executado determina o número máximo de sistemas de arquivos que podem ser suportados por uma instância do Storage Gateway. Recomendamos que você não crie mais do que 5 sistemas de arquivos ativos por instância do Storage Gateway. Para obter o melhor desempenho, hospede cada sistema de arquivos em um Storage Gateway dedicado.

O Storage Gateway pode gerenciar no máximo 100 milhões de arquivos por sistema de arquivos. Para conjuntos de dados que contêm mais de 100 milhões de objetos, verifique se eles estão distribuídos em vários sistemas de arquivos.

O tamanho máximo de arquivo com suporte é 75% do espaço em cache configurado no Storage Gateway, não podendo exceder 10 TB. Por exemplo, se o Storage Gateway estiver configurado para ter 1 TB de espaço em cache, o tamanho máximo de arquivo com suporte será de 750 GB.

Não há limite superior no número de instâncias do Storage Gateway que podem ser instaladas para uso em uma tenancy da Oracle Cloud Infrastructure.

Desde que o cache local seja dimensionado com precisão, é possível fazer upload de uma quantidade ilimitada de dados para o Object Storage. Observe que os sistemas de arquivos do Storage Gateway não devem exceder 100 milhões de arquivos.

O nome de arquivo mais longo pode ter 255 caracteres. O comprimento total do caminho pode ter no máximo 1024 caracteres, que é o tamanho máximo suportado para nomes de objetos do Object Storage. Por exemplo, /directory1/directory2/directory3/directory4/filename.txt tem 57 caracteres. Observe que o comprimento máximo suportado para caminhos de Object Storage é menor que o máximo de 4096 caracteres suportados pelos sistemas de arquivos Linux. A tentativa de criar um arquivo ou diretório para o qual o caminho tenha mais de 1024 caracteres gera um erro de NFS.

Não há limite para o número de diretórios, desde que o comprimento do caminho de cada um deles seja de até 1024 caracteres.

Não há limite para o número de arquivos compatíveis em um único diretório.

Sim, você pode executar o Storage Gateway em uma instância de computação da Oracle Cloud Infrastructure usando as mesmas instruções gerais de instalação seguidas para instalar o Storage Gateway on-premises.

Sim, o Storage Gateway ode ser instalado atrás de um servidor proxy. Para configurar os servidores proxy, use os seguintes comandos:

sudo ocisg configure proxy <http_proxy_server> <https_proxy server>
sudo ocisg down
sudo ocisg up

Não é possível executar várias instâncias do Storage Gateway no mesmo Object Storage Bucket. O Storage Gateway não impõe o bloqueio ou a consistência de objetos entre diferentes instâncias do Storage Gateway.

Sim, os dados carregados na nuvem usando o Storage Gateway podem ser gerenciados usando qualquer ferramenta Oracle compatível, como APIs, SDKs, CLI e Console, ou ferramentas de terceiros como Cyberduck ou CloudBerry.

As alterações feitas em um sistema de arquivos do Storage Gateway serão consequentemente consistentes com o Object Storage. Os uploads são assíncronos e armazenados em buffer para melhorar o desempenho, portanto, as alterações no arquivo do Storage Gateway podem ainda não ser refletidas no Object Storage.

As alterações feitas diretamente no bucket do Object Storage não são refletidas no sistema de arquivos local do Storage Gateway em tempo real. No console de gerenciamento do Storage Gateway, clique em "Atualizar" para capturar todos os dados que foram adicionados ou modificados diretamente no Object Storage.

Sim, um sistema de arquivos do Storage Gateway pode ser criado em um bucket não vazio. Quando isso acontece, o Storage Gateway cria metadados para todos os objetos no bucket com permissões e atributos padrão. O Storage Gateway também cria um inventário local dos objetos no bucket. Dependendo do número de objetos no bucket de destino, esse processo pode levar algum tempo para ser concluído. O console de gerenciamento do Storage Gateway fornece uma barra de progresso que indica o status atual.

Não, o Storage Gateway não oferece suporte a links simbólicos ou físicos. A tentativa de criar um link resultará em um erro NFS.

Sim, o Storage Gateway oferece suporte à criação de arquivos esparsos. Porém, os objetos do Object Storage correspondentes não serão esparsos e serão preenchidos com 0x00s.

Não, se um sistema de arquivos for excluído/removido, os dados armazenados na nuvem permanecerão intactos. Você pode recuperar os dados excluídos criando outro sistema de arquivos compatível com o mesmo bucket.

Sim, a exclusão de dados do Storage Gateway exclui permanentemente os dados do Object Storage.

O Storage Gateway não carrega um novo arquivo ou arquivo modificado até que o arquivo seja fechado. Depois que um arquivo é fechado, o Storage Gateway permite um período de acomodação de 1 minuto antes de enfileirar o arquivo para upload.

Dependendo do número de arquivos com upload pendente, pode demorar um pouco até que o arquivo seja carregado no bucket de Object Storage. Você pode visualizar o status de upload dos arquivos no console de gerenciamento do Storage Gateway.

O Storage Gateway 1.2 fornece um recurso integrado de replicação e sincronização em nuvem que permite fazer backup e replicar arquivos NAS de e para os buckets do Oracle Cloud Infrastructure Object Storage. Esse novo recurso substitui o utilitário de sincronização em nuvem independente e disponível para download, que estava disponível nas versões anteriores do Storage Gateway.

Você pode usar o console de gerenciamento do Storage Gateway ou a interface de linha de comando para criar, monitorar e gerenciar facilmente tarefas de sincronização semelhantes a outras ofertas corporativas de backup/replicação do NAS. A Sincronização em Nuvem é executada como parte do software de Storage Gateway dentro da instância do Docker no host.

Veja Usando a documentação de Sincronização em Nuvem do Storage Gateway para obter detalhes.

Os clientes com muitos arquivos locais para migrar para a nuvem podem fazer isso usando o Oracle Cloud Infrastructure Storage Gateway. A Cloud Sync oferece uma maneira de copiar arquivos do armazenamento local para o Storage Gateway, onde os arquivos são movidos de forma assíncrona e eficiente para um bucket do Object Storage. Os clientes que armazenam backups de banco de dados ou dados no NAS local e desejam liberar espaço, ou desejam mover backups mais antigos para um armazenamento em nuvem mais barato, acharão a Sincronização em Nuvem uma maneira fácil de automatizar esse tipo de movimentação de dados.

Sim, ao criar um sistema de arquivos, você especifica a camada de armazenamento, Standard (o padrão) ou Archive, para criar o bucket do Object Storage correspondente. A camada Standard de Object Storage é usada para armazenar dados que você precisa acessar de modo rápido, imediato e frequente. A camada de Armazenamento de Arquivo é usada para armazenar dados que são acessados com pouca frequência e exigem longos períodos de retenção. Embora o Archive Storage seja mais econômico que o Object Storage para preservar dados frios, você deve primeiro restaurar os objetos antes de poder acessá-los.

Cada operação de cópia do Cloud Sync fornece um status abrangente para que você conheça a lista de arquivos selecionados, quando eles foram copiados para o Storage Gateway e quando foram carregados com êxito no Object Storage. Quando uma operação de cópia está em andamento, a Sincronização em Nuvem fornece o registro de data e hora de início, o tempo decorrido, o tempo estimado de conclusão, o número/tamanho total dos arquivos a serem sincronizados e o número/tamanho total dos arquivos que já foram sincronizados.

Após a conclusão da transferência do arquivo, o utilitário de sincronização na nuvem compara as somas de verificação dos arquivos nos diretórios de origem e destino.

Nos testes de benchmark de desempenho com uma velocidade de link de 10Gb/s, observamos o seguinte:

Velocidades de upload

• Upload de Arquivo Único - 100 - 120 MB/s (usando um arquivo de 1,3 TB)
• Upload de Vários Arquivos - 450 - 500 MB/s (usando 4 a 8 arquivos com tamanho de 10 GB a 50 GB)

• Download de Arquivo Único - 300 - 350 MB/s (usando um arquivo de 1,3 TB)
• Download de Vários Arquivos - 700 - 750 MB/s (usando 3 arquivos que variam de 50 GB a 200 GB em tamanho)

O Storage Gateway 1.2 fornece um comando de diagnóstico que pode ser usado para testar a largura de banda em seu ambiente e garantir que você esteja obtendo as velocidades esperadas de upload e download.

Veja Testando a documentação da Largura de Banda da Rede para mais detalhes.

Siga as melhores práticas documentadas para obter o melhor desempenho com o Storage Gateway.

Por padrão, o Storage Gateway 1.2 está ajustado para obter o desempenho máximo de upload e download. Nenhuma sintonia adicional é necessária.

Além de ter memória e espaço em cache suficientes no sistema de arquivos, recomendamos o uso de SSDs em um ambiente do Storage Gateway. O Storage Gateway precisa ler do cache para fazer upload para a Oracle Cloud Infrastructure. Se a mídia de back-end for lenta, a taxa de ingestão de NFS e, portanto, o desempenho geral do upload serão afetados negativamente.

O uso do FastConnect em conjunto com o Storage Gateway faz uso otimizado da velocidade total do link. Temos clientes que usam o FastConnect com velocidade de link de 10 Gb/s e vimos cada gateway alcançar carregamentos de 400 a 450 MB/s para o Oracle Cloud Infrastructure.

Veja Documentação FastConnect para aprender mais.