Stream Avro File Reader

Saiba mais sobre o conector Stream Avro File Reader e como usá-lo na Digibee Integration Platform.

O conector Stream Avro File Reader permite que você leia arquivos Avro acionando subpipelines para processar cada mensagem individualmente. O conector deve ser usado para arquivos grandes.

Avro é um framework popular de serialização de dados utilizado no ecossistema Hadoop Big Data, conhecido por seu suporte à evolução de esquema e compactação. Para mais informações, veja o site oficial.

Parâmetros

Dê uma olhada nos parâmetros de configuração do conector. Parâmetros suportados por expressões Double Braces estão marcados com (DB).

Aba General

Aba Documentation

Um arquivo Avro compactado gera conteúdo JSON maior que o próprio arquivo quando lido. Você deve verificar se o pipeline possui memória suficiente para tratar os dados, pois eles ficarão armazenados na memória do pipeline.

Exemplo de uso

Lendo arquivo Avro

  • File Name: file.avro

  • Parallel: desativado

Saída:

{
	"total": 1000,
	"success": 1000,
	"failed": 0
}

Se as linhas foram processadas corretamente, seus respectivos subpipelines retornam { "success": true } para cada linha individual.

Atualizado