Stream Parquet File Reader
Saiba mais sobre o conector Stream Parquet File Reader e como usá-lo na Digibee Integration Platform.
O conector Stream Parquet File Reader permite que você leia arquivos Parquet, acionando subpipelines para processar cada mensagem individualmente. Este conector deve ser usado para arquivos grandes.
Parquet é um formato de arquivo colunar projetado para armazenamento e recuperação eficiente de dados. Para maiores informações, veja o site oficial.
Parâmetros
Dê uma olhada nos parâmetros de configuração do conector. Parâmetros suportados por expressões Double Braces estão marcados com (DB)
.
Aba General
File Name (DB)
O nome do arquivo Parquet a ser lido.
{{ message.fileName }}
String
Parallel Execution
Ocorre em paralelo com a execução do loop.
False
Booleano
Fail On Error
Se a opção estiver ativa, a execução do pipeline com erro será interrompida. Caso contrário, a execução do pipeline continuará, mas o resultado mostrará um valor falso para a propriedade “success”
.
False
Booleano
Aba Documentation
Documentation
Seção para documentar qualquer informação necessária sobre a configuração do conector e regras de negócio.
N/A
String
Exemplo de uso
Lendo arquivo Parquet
File Name: file.parquet
Parallel: desativado
Saída:
{
"total": 1000,
"success": 1000,
"failed": 0
}
Se as linhas foram processadas corretamente, seus respectivos subpipelines retornam { "success": true }
para cada linha individual.
Atualizado
Isto foi útil?