Perguntas Frequentes sobre o Streaming com Apache Kafka

Geral

O que é OCI Streaming with Apache Kafka?

O OCI Streaming with Apache Kafka é um serviço gerenciado que permite criar aplicações de streaming de dados em tempo real usando o Apache Kafka na Oracle Cloud Infrastructure (OCI). Ele fornece um ambiente Kafka totalmente gerenciado, eliminando a necessidade de gerenciar a infraestrutura subjacente.

Quais são os principais casos de uso do OCI Streaming with Apache Kafka?

Os casos de uso típicos incluem base de dados de treinamento de IA em tempo real, orquestração de sistemas de agentes e vários agentes de IA, análise de dados em tempo real, captura de dados de alteração (CDC), análise de comportamento do usuário, detecção de fraude, métricas e ingestão de log e muito mais. Ele pode lidar com casos de uso de ingestão e processamento de dados de alto rendimento e baixa latência.

Quais são os tipos de cluster disponíveis no OCI Streaming with Apache Kafka?

Existem dois tipos de cluster: inicial e alta disponibilidade (HA). Um cluster inicial pode ter entre 1 e 30 brokers. Os clusters HA são recomendados para todas as cargas de trabalho de produção com alta disponibilidade. Os clusters HA exigem no mínimo 3 nós de broker entre domínios de disponibilidade (ADs) ou domínios de falha (FDs) com no máximo 30 brokers.

Quais versões do Apache Kafka são compatíveis?

Nosso serviço Kafka gerenciado suporta Apache Kafka versão 3.7.0, 3.6.1 e 3.6.0. Você pode encontrar a lista completa de versões suportadas na documentação.

O OCI Streaming with Apache Kafka é compatível com o modo Kafka Raft (KRaft)?

Atualmente, o OCI Streaming with Apache Kafka oferece suporte apenas ao ZooKeeper para gerenciar metadados do Kafka e coordenação de cluster. O modo KRaft, que permite ao Kafka gerenciar metadados nativamente sem o ZooKeeper, ainda não é compatível. No entanto, o suporte ao KRaft está planejado para uma versão futura, permitindo uma arquitetura Kafka simplificada e mais resiliente.

As APIs Apache Kafka são compatíveis com o OCI Streaming with Apache Kafka?

Sim, todas as APIs administrativas e de plano de dados são nativamente compatíveis com o OCI Streaming with Apache Kafka.

Posso escolher diferentes tipos de processador para o OCI Streaming with Apache Kafka?

Atualmente, o serviço oferece suporte a formas ARM A1 por padrão. Se precisar de outras famílias de processadores, como AMD ou Intel, entre em contato com o Suporte da OCI para discutir opções e configurações adicionais.

Qual é a configuração padrão do broker para um cluster?

A menos que especificado de outra forma, o OCI Streaming with Apache Kafka usa os padrões especificados pela versão de código aberto do Apache Kafka. Verifique as configurações padrão documentadas para ambos os tipos de cluster.

Posso alterar as configurações padrão do broker ou carregar uma configuração de cluster para o OCI Streaming with Apache Kafka?

Sim, o OCI Streaming with Apache Kafka permite criar e implementar configurações personalizadas a clusters novos e existentes. Atualmente, as configurações personalizadas podem ser criadas e versionadas usando a CLI, que pode ser aplicada ao criar um cluster. No OCI Console, você pode selecionar a configuração padrão ou personalizada durante a configuração do cluster. Para obter mais informações sobre configurações personalizadas, consulte a documentação de configuração.

Quais propriedades de configuração posso personalizar?

Consulte a documentação sobre propriedades de configuração que você pode personalizar.

Segurança

Meus dados são criptografados e protegidos?

A segurança é fundamental para o OCI Streaming with Apache Kafka. A movimentação de dados é protegida com TLS 1.2 e os dados em repouso são protegidos com a criptografia do serviço Block Volume. Controles de acesso à rede, autenticação de usuário (SASL_SCRAM, mTLS) e configurações de autorização (Kafka ACL) oferecem mais camadas de proteção para proteger seus dados e acesso ao serviço.

Posso restringir o acesso a tópicos específicos do Kafka?

Sim, você pode usar as listas de controle de acesso (ACLs) do Kafka para restringir o acesso a tópicos específicos, grupos de consumidores e operações administrativas. Isso ajuda a garantir que somente clientes autorizados possam acessar os recursos do Kafka.

Quais métodos de autenticação estão disponíveis para o OCI Streaming with Apache Kafka?

O OCI Streaming with Apache Kafka oferece suporte a vários métodos de autenticação para proteger o acesso ao cluster Kafka. Os usuários podem autenticar por meio do Simple Authentication and Security Layer/Salted Challenge Response Authentication Mechanism (SASL/SCRAM) ou Mutual TLS (mTLS) para comunicação segura e controle de acesso. Essas opções fornecem medidas de segurança robustas para ajudar a garantir que somente usuários autenticados possam interagir com os clusters Kafka.

O OCI Streaming com Apache Kafka é oferece suporte à autenticação LDAP (Lightweight Direct Access Protocol) ou Kerberos?

Atualmente, o serviço oferece suporte à SASL/SCRAM e mTLS para autenticação. No futuro, o OCI Streaming with Apache Kafka oferecerá suporte ao OCI Identity and Access Management (IAM), que permitirá a integração com o Active Directory e o LDAP por meio de provedores de identidade federados e sincronização de identidade para autenticação simplificada e gerenciamento de usuários.

O OCI Streaming oferece suporte ao pareamento de rede virtual na nuvem (VCN) para acesso seguro e privado?

Sim, você pode configurar os clusters Kafka em sub-redes privadas e usar o pareamento de VCN para estabelecer uma conexão segura a partir de outros VCNs da OCI ou de sua rede on-premises, dependendo dos seus requisitos de arquitetura.

Desempenho e escalabilidade

Quais são os limites de throughput e escalabilidade do OCI Streaming with Apache Kafka?

O OCI Streaming with Apache Kafka oferece suporte à ingestão e ao processamento de dados escaláveis, com configurações de broker personalizáveis para atender aos requisitos de alto throughput. Você pode adicionar até 30 brokers em um cluster. Para obter mais detalhes, consulte a documentação.

Como o OCI Streaming lida com o balanceamento de carga e a tolerância a falhas?

Para clusters de alta disponibilidade, o OCI Streaming with Kafka distribui automaticamente corretores em vários ADs ou FDs para resiliência. O serviço também fornece balanceamento de carga e particionamento automatizados entre brokers.

Posso dimensionar o cluster Kafka de forma dinâmica?

Sim, você pode dimensionar o cluster Kafka dentro dos limites de contagem de brokers (1 a 30 brokers). Isso permite ajustar recursos para corresponder às demandas de carga de trabalho sem interromper o serviço. Para maiores requisitos de broker, entre em contato com o suporte.

Conectividade

Posso acessar o OCI Streaming with Apache Kafka de fora da Oracle Cloud?

Atualmente, a conectividade pública com o OCI Streaming with Apache Kafka não está disponível. O acesso aos clusters Kafka é restrito às VCNs da OCI. Para conectar produtores e consumidores externos, você pode configurar soluções de conectividade privada, como o OCI FastConnect ou VPN, para estender com segurança sua rede on-premises ou outros ambientes de nuvem para a OCI.

Quais configurações são necessárias para conectar clientes Kafka da minha rede on-premises?

Para conectividade on-premises, você pode configurar uma conexão FastConnect ou VPN da OCI para acessar com segurança o cluster Kafka hospedado na OCI.

O OCI Streaming with Apache Kafka oferece suporte à replicação entre clusters (Ativo/Ativo e Ativo/Stand-by)?

Sim, o OCI Streaming with Apache Kafka oferece suporte à replicação entre clusters, que pode ser definida para configurações Ativo/Ativo ou Ativo/Em espera usando o MirrorMaker 2. Isso permite estratégias flexíveis de replicação de dados entre clusters, permitindo a recuperação de desastres e a sincronização de dados. Por padrão, os dados em uma configuração de alta disponibilidade são replicados na mesma região para fins de resiliência. Você pode usar o MirrorMaker 2 para personalizar uma replicação entre regiões ou entre clusters adicional com base em seus requisitos específicos.

Posso migrar dados do cluster Apache Kafka existente para o OCI Streaming with Apache Kafka?

Sim, você pode usar ferramentas como o MirrorMaker 2 para replicar dados de clusters para o OCI Streaming com Apache Kafka.

O OCI Streaming with Apache Kafka é compatível com a captura de dados alterados (CDC) com o Debezium?

Sim, o OCI Streaming com Apache Kafka oferece suporte ao CDC usando Debezium, juntamente com quaisquer outros conectores Kafka. Atualmente, os usuários são responsáveis por gerenciar e manter os próprios conectores para CDC. No entanto, um serviço Kafka Connect totalmente gerenciado, que simplificará o gerenciamento de conectores, está planejado para uma versão futura.

Operações e monitoramento

Como posso monitorar o cluster Kafka na OCI?

Você pode monitorar métricas no nível do cluster e do broker na console do OCI Monitoring com o namespace oci_kafka. Para obter detalhes, consulte a documentação. Métricas adicionais de alta cardinalidade (nível de tópico e partição) estarão disponíveis em breve.

O registro em log está disponível para o OCI Streaming with Apache Kafka?

Atualmente, o OCI Streaming com Apache Kafka oferece apenas logs de auditoria. Logs do broker ou de serviço serão oferecidos em breve.

Como gerencio configurações e replicação de tópicos?

As configurações de tópicos, as partições e as definições de replicação podem ser gerenciadas usando a CLI do Kafka, SDKs ou APIs do Kafka. Atualmente, o OCI Console não oferece suporte ao gerenciamento direto dessas configurações. Você pode definir o fator de replicação por meio dessas ferramentas para atender às suas necessidades de tolerância a falhas e disponibilidade.

Existe uma interface de usuário para administrar o cluster Kafka na OCI?

Atualmente, o OCI Streaming with Apache Kafka não fornece uma interface de usuário nativa para a administração de clusters. No entanto, você pode usar ferramentas de terceiros, como Kafbat, AKHQ e similares, para gerenciar e monitorar seus clusters Kafka. Essas ferramentas podem ser implementadas na OCI, permitindo exibir e administrar o cluster perfeitamente em seu próprio ambiente.

Preços e faturas

Qual o preço do OCI Streaming with Apache Kafka?

O preço do OCI Streaming with Apache Kafka é baseado na infraestrutura subjacente. Você pode configurar o cluster selecionando a quantidade de brokers, núcleos, memória e armazenamento do Kafka. Os custos de infraestrutura associados são encargos de repasse com base na lista de preços da OCI (consulte formas flexíveis A1 para preços de OCPU). Além disso, uma taxa de serviço de US$ 0,10 por OCPU por hora é aplicada com base no número de OCPUs provisionadas. Para clusters que usam a forma Arm A1, a taxa de serviço é descontada em 50%, resultando em uma cobrança de US$ 0,05 por OCPU por hora.

Existem custos adicionais para armazenamento de dados no OCI Streaming?

Sim, os custos de armazenamento de dados são baseados no armazenamento de volume em blocos que você seleciona durante o provisionamento do cluster. Você pode escolher entre 50 GB e 5 TB de armazenamento por broker. O custo de armazenamento associado é uma despesa de repasse com base no preço do OCI Block Volume. Por exemplo, se você precisar de 15 TB de armazenamento, provisionará 3 brokers com 5 TB cada, totalizando 15 TB de armazenamento para o cluster.

Integração e compatibilidade

O OCI Streaming with Apache Kafka é compatível com o Kafka Connect?

Atualmente, o OCI Streaming with Apache Kafka não inclui um serviço Kafka Connect gerenciado, mas você pode implementar o Kafka Connect em instâncias do OCI Compute e integrá-lo aos clusters Kafka.

Posso usar o OCI Streaming with Apache Kafka com o Oracle GoldenGate para captura de dados alterados?

Sim, você pode integrar o Oracle GoldenGate com o OCI Streaming with Apache Kafka para capturar e transmitir alterações dos bancos de dados para o Kafka, oferecendo suporte a vários casos de uso de replicação de dados e análise.

Como o OCI Streaming with Apache Kafka se integra ao OCI Data Flow?

O OCI Data Flow pode ser usado para processar dados de tópicos do Kafka diretamente, permitindo criar e executar aplicações Spark para transformação, análise e armazenamento de dados.

Há um Schema Registry disponível com o OCI Streaming with Apache Kafka?

Sim, o serviço atualmente oferece suporte à integração com opções de Schema Registry de código aberto, permitindo gerenciar e armazenar esquemas para seus fluxos de dados. Uma oferta de Schema Registry totalmente gerenciada está em desenvolvimento e deverá ser lançada em uma versão futura, simplificando o gerenciamento de esquemas no ambiente da OCI.