Stream Parquet File Reader

Saiba mais sobre o conector Stream Parquet File Reader e como usá-lo na Digibee Integration Platform.

O conector Stream Parquet File Reader permite que você leia arquivos Parquet, acionando subpipelines para processar cada mensagem individualmente. Este conector deve ser usado para arquivos grandes.

Parquet é um formato de arquivo colunar projetado para armazenamento e recuperação eficiente de dados. Para maiores informações, veja o site oficial.

Parâmetros

Dê uma olhada nos parâmetros de configuração do conector. Parâmetros suportados por expressões Double Braces estão marcados com (DB).

Aba General

Parâmetro	Descrição	Valor padrão	Tipo de dado
File Name (DB)	O nome do arquivo Parquet a ser lido.	{{ message.fileName }}	String
Parallel Execution	Ocorre em paralelo com a execução do loop.	False	Booleano
Fail On Error	Se a opção estiver ativa, a execução do pipeline com erro será interrompida. Caso contrário, a execução do pipeline continuará, mas o resultado mostrará um valor falso para a propriedade “success”.	False	Booleano

Aba Documentation

Parâmetro	Descrição	Valor padrão	Tipo de dado
Documentation	Seção para documentar qualquer informação necessária sobre a configuração do conector e regras de negócio.	N/A	String

Um arquivo Parquet compactado gera conteúdo JSON maior que o próprio arquivo quando é lido. É importante que você verifique se o pipeline possui memória suficiente para tratar os dados, pois eles ficarão armazenados na memória do pipeline.

Exemplo de uso

Lendo arquivo Parquet

• File Name: file.parquet

• Parallel: desativado

Saída:

{
	"total": 1000,
	"success": 1000,
	"failed": 0
}

Se as linhas foram processadas corretamente, seus respectivos subpipelines retornam { "success": true } para cada linha individual.