Stream Avro File Reader

Saiba mais sobre o conector Stream Avro File Reader e como usá-lo na Digibee Integration Platform.

O conector Stream Avro File Reader permite que você leia arquivos Avro acionando subpipelines para processar cada mensagem individualmente. O conector deve ser usado para arquivos grandes.

Avro é um framework popular de serialização de dados utilizado no ecossistema Hadoop Big Data, conhecido por seu suporte à evolução de esquema e compactação. Para mais informações, veja o site oficial.

Parâmetros

Dê uma olhada nos parâmetros de configuração do conector. Parâmetros suportados por expressões Double Braces estão marcados com (DB).

Aba General

ParâmetroDescriçãoValor padrãoTipo de dado

File Name (DB)

Nome do arquivo Avro a ser lido.

{{ message.fileName }}

String

Parallel Execution

Ocorre em paralelo com a execução do loop.

False

Booleano

Fail On Error

Se a opção estiver ativada, a execução do pipeline com erro será interrompida. Do contrário, a execução do pipeline continua, mas o resultado irá mostrar um valor falso para a propriedade "success".

False

Booleano

Aba Documentation

ParâmetroDescriçãoValor padrãoTipo de dado

Documentation

Seção para documentar qualquer informação necessária sobre a configuração do conector e regras de negócio.

N/A

String

Um arquivo Avro compactado gera conteúdo JSON maior que o próprio arquivo quando lido. Você deve verificar se o pipeline possui memória suficiente para tratar os dados, pois eles ficarão armazenados na memória do pipeline.

Exemplo de uso

Lendo arquivo Avro

  • File Name: file.avro

  • Parallel: desativado

Saída:

{
	"total": 1000,
	"success": 1000,
	"failed": 0
}

Se as linhas foram processadas corretamente, seus respectivos subpipelines retornam { "success": true } para cada linha individual.

Last updated