Kafka
Descubra mais sobre o componente Kafka e saiba como utilizá-lo na Digibee Integration Platform.
Atualizado
Isto foi útil?
Descubra mais sobre o componente Kafka e saiba como utilizá-lo na Digibee Integration Platform.
Atualizado
Isto foi útil?
O Kafka produz registros para os brokers Kafka configurados nele.
Dê uma olhada nas opções de configuração do componente. Parâmetros suportados por estão marcados com (DB).
Kafka Authentication Account
Se o servidor Kafka precisar de autenticação, será necessário criar uma conta tipo Basic para esse componente. Suportamos também autenticação via Kerberos.
N/A
String
Truststore
Caso seja necessário informar uma truststore para realizar o SSL Handshake utilizando certificados privados, deve-se criar uma conta do tipo Certificate Chain e informar os certificados concatenados. É opcional inserir a senha a ser cadastrada na criação da truststore, no campo password.
N/A
String
Keystore
Caso seja necessário informar uma keystore para realizar a autenticação SSL mútua, deve-se criar uma conta do tipo Certificate Chain, informar a cadeia completa com os certificados concatenados e a chave privada a ser utilizada para a autenticação SSL mútua. Caso exista uma chave privada, é necessário informá-la no campo password.
N/A
String
Brokers
Brokers do servidor (HOST: PORT) usados para o envio de registros. Para informar múltiplos HOSTS, você pode separá-los por vírgula. Exemplo: HOST1:PORT1,HOST2:PORT2,...,HOSTn:PORTn
N/A
String
Security Protocol
A forma que a conexão é estabelecida. É opcional utilizar um canal de segurança (SSL) e de autenticação (SASL). A utilização de ambos (SASL_SSL) também é possível.
SSL
String
Topic Name
Nome do tópico do Kafka.
{{ DEFAULT(message.topic, "new-topic") }}
String
Schema Registry URL
Se pelo menos uma das opções Headers By Avro, Payload As Avro e Partition Key As Avro estiver ativada, o campo será mostrado para configurar o Schema Registry's URL.
N/A
String
Schema Registry Account
Conta para autenticar com o Schema Registry.
N/A
String
Schema Registry Truststore
Se for necessário informar um truststore para fazer o SSL Handshake utilizando certificados privados, deve-se criar uma conta do tipo Certificate Chain e informar os certificados concatenados. É opcional informar a senha a ser cadastrada na criação do truststore, no campo password.
N/A
N/A
Schema Registry Keystore
Se for necessário informar um keystore para fazer a autenticação mútua SSL, deve-se criar uma conta do tipo Certificate Chain, informar a cadeia completa com os certificados concatenados e a chave privada a ser utilizada para a autenticação mútua SSL. Se houver chave privada, é necessário informá-la no campo password.
N/A
N/A
Headers
Conjunto de entradas chave-valor (key-value), contendo cabeçalhos a serem enviados na mensagem (campo opcional).
N/A
Key-value
Binary Headers
Se a opção estiver ativada, os valores dos cabeçalhos são considerados binários e são interpretados como uma string com a representação base64; do contrário, os valores dos cabeçalhos são interpretados como texto.
False
Booleano
Headers By Avro Schema
Se a opção estiver ativada, o componente validará os cabeçalhos com base em um esquema Avro antes de enviar os cabeçalhos.
False
Booleano
Headers Schema
Se a opção Headers By Avro Schema estiver ativada, será exibido o campo para definir os Headers Schemas a serem validados.
N/A
N/A
Headers Charset
Nome do código de caracteres para a codificação dos valores dos cabeçalhos (padrão UTF-8).
UTF-8
String
Payload
Payload que será despachado.
{{ message.$ }}
String
Payload As Avro
Se a opção estiver ativada, o componente enviará o payload no formato Avro.
False
Booleano
Payload Schema
Este campo fica disponível somente se a opção Payload As Avro estiver ativada e informa o Payload Schema a ser validado.
N/A
N/A
Request Timeout
Configuração que controla o tempo máximo (em milissegundos) que o cliente aguarda pela resposta de uma solicitação. Se a resposta não for recebida antes que o tempo limite se esgote, a solicitação é reenviada automaticamente. Do contrário, haverá uma falha se as tentativas se esgotarem.
60000
Inteiro
Retries
Se for estabelecido um valor diferente de 0 (zero), qualquer registro cujo envio falhar será reenviado. Esses registros podem ser reenviados com um provável erro transitório.
N/A
Inteiro
Metadata Timeout
Tempo máximo para o envio do registro ao Kafka.
5000
Inteiro
Key Strategy
Caso a opção Partition Key As Avro esteja ativada, o campo será exibido para configuração da estratégia de subject a ser utilizada para construir o subject name para as keys das mensagens.
N/A
String
Value Strategy
Caso a opção Payload as Avro esteja ativada, o campo será exibido para configuração da estratégia de subject a ser utilizada para construir o subject name para os values das mensagens.
N/A
String
Fail On Error
Se a opção estiver ativada, a execução do pipeline com erro será interrompida; do contrário, a execução do pipeline continua, mas o resultado vai mostrar um valor falso para a propriedade "success".
False
Booleano
Advanced Settings
Se a opção estiver ativada, você pode acessar as seguintes configurações:
False
Booleano
Kerberos Service Name
Valor definido na propriedade sasl.kerberos.service.name configurado no lado server do broker Kafka.
N/A
String
Partition Number
N/A
Inteiro
Partition Key
Uma chave de partição pode ser especificada para indicar a partição de destino da mensagem. Caso esse campo não seja preenchido, um particionador baseado em hashing é utilizado para determinar a id de partição dada a chave.
N/A
String
Partition Key As Avro
Se a opção estiver ativada, o componente fará o envio da chave de partição no formato Avro.
N/A
Booleano
Partition Key Schema
Caso a opção Partition Key As Avro esteja ativada, o campo será exibido para que seja informado o Schema da chave de partição a ser validada.
N/A
String
Producer Client Name
Identificador de origem dos pedidos (opcional).
N/A
String
ACKS
Configuração para reconhecer o recebimento da mensagem pelo broker Kafka (valores: 0, 1 ou ALL).
1
Inteiro
Use Dynamic Account
Quando a opção estiver ativada, o componente irá usar a conta dinamicamente. Defina o nome da conta para permitir um uso flexível. Quando estiver desativada, a conta será usada estaticamente.
False
Booleano
Account Name
N/A
String
Scoped
Quando a opção estiver ativada, a conta armazenada é isolada para outro sub-processo. Nesse caso, os sub-processos verão sua própria versão dos dados da conta armazenada.
N/A
Booleano
Truststore Account Name
Nome da conta truststore que é gerada dinamicamente através do componente Store Account. Contas suportadas: Certificate Chain.
N/A
String
Keystore Account Name
Nome da conta keystore que é gerada dinamicamente através do componente Store Account. Contas suportadas: Certificate Chain.
N/A
String
Account Name for Registry
Nome da conta para registro que é gerada dinamicamente através do componente Store Account. Contas suportadas: Basic ou Oauth Bearer Token.
N/A
String
Truststore Account Name for Registry
Nome da conta truststore para registro que é gerada dinamicamente através do componente Store Account. Contas suportadas: Certificate Chain.
N/A
String
Keystore Account Name for Registry
Nome da conta keystore para registro que é gerada dinamicamente através do componente Store Account. Contas suportadas: Certificate Chain.
N/A
String
message: mensagem enviada.
offset: offset do registro no tópico/partição.
timestamp: horário/data do registro no tópico/partição.
serializedKeySize: tamanho da chave serializada, com valor descomprimido em bytes. Se o valor é nulo, o tamanho devolvido é -1.
serializedValueSize: tamanho do valor serializado, com valor descomprimido em bytes. Se o valor é nulo, o tamanho devolvido é -1.
topic: nome do tópico.
partition: partição para onde o registro foi enviado.
success: se "verdadeiro", o envio foi realizado com sucesso.
O componente aceita qualquer mensagem de entrada e pode fazer uso dela através de Double Braces.
O componente não altera nenhuma informação da mensagem de entrada. Portanto, ela é retornada para o componente seguinte ou é utilizada como resposta final se este componente for o último passo do pipeline.
Isso permite a autenticação dos seus produtores e clientes ao cluster do Kafka (verificação de identidade). Essa também é uma forma segura de permitir que os seus clientes confirmem a identidade.
Para utilizar a autenticação via Kerberos no Kafka é necessário ter cadastrado o arquivo de configuração “krb5.conf” no parâmetro de Realm. Caso não tenha feito isso, acione o nosso suporte via chat. Após concluir esse passo, basta configurar corretamente uma conta do tipo Kerberos e utilizá-la no componente.
Especifica os números da partição para os quais o enviará mensagens. Caso essa propriedade não seja configurada, o servidor do Kafka ficará responsável por decidir para qual partição do tópico a mensagem será enviada.
Nome da conta Basic que é gerada dinamicamente através do .
Devido a necessidade de uma grande alocação de memória, não suportamos os seguintes tipos de Security Protocol: PLAINTEXT e SASL_PLAINTEXT. Para mais informações, .