Stream Avro File Reader

Saiba mais sobre o conector Stream Avro File Reader e como usá-lo na Digibee Integration Platform.

O conector Stream Avro File Reader permite que você leia arquivos Avro acionando subpipelines para processar cada mensagem individualmente. O conector deve ser usado para arquivos grandes.

Avro é um framework popular de serialização de dados utilizado no ecossistema Hadoop Big Data, conhecido por seu suporte à evolução de esquema e compactação. Para mais informações, veja o site oficial.

Parâmetros

Dê uma olhada nos parâmetros de configuração do conector. Parâmetros suportados por expressões Double Braces estão marcados com (DB).

Aba General

Parâmetro	Descrição	Valor padrão	Tipo de dado
File Name (DB)	Nome do arquivo Avro a ser lido.	{{ message.fileName }}	String
Parallel Execution	Ocorre em paralelo com a execução do loop.	False	Booleano
Fail On Error	Se a opção estiver ativada, a execução do pipeline com erro será interrompida. Do contrário, a execução do pipeline continua, mas o resultado irá mostrar um valor falso para a propriedade "success".	False	Booleano

Aba Documentation

Parâmetro	Descrição	Valor padrão	Tipo de dado
Documentation	Seção para documentar qualquer informação necessária sobre a configuração do conector e regras de negócio.	N/A	String

Um arquivo Avro compactado gera conteúdo JSON maior que o próprio arquivo quando lido. Você deve verificar se o pipeline possui memória suficiente para tratar os dados, pois eles ficarão armazenados na memória do pipeline.

Exemplo de uso

Lendo arquivo Avro

• File Name: file.avro

• Parallel: desativado

Saída:

{
	"total": 1000,
	"success": 1000,
	"failed": 0
}

Se as linhas foram processadas corretamente, seus respectivos subpipelines retornam { "success": true } para cada linha individual.