Parquet File Reader
Saiba mais sobre o conector Parquet File Reader e saiba como utilizá-lo na Digibee Integration Platform.
O Parquet File Reader é um conector exclusivo do Pipeline Engine v2.
O conector Parquet File Reader permite que você leia arquivos Parquet.
Parquet é um formato de arquivo em coluna projetado para armazenamento e recuperação de dados eficientes. Você pode obter mais informações no site oficial.
Parâmetros
Dê uma olhada nos parâmetros de configuração do conector. Parâmetros suportados por expressões Double Braces estão marcados com (DB)
.
Aba General
File Name (DB)
Nome do arquivo Parquet a ser lido.
{{ message.fileName }}
String
Check File Size
Se habilitado, o valor de Maximum File Size é verificado. Caso o tamanho do arquivo seja maior que o especificado, um erro será exibido.
False
Booleano
Maximum File Size
Especifica o tamanho máximo permitido (em bytes) do arquivo a ser lido.
N/A
Inteiro
Fail On Error
Se a opção estiver ativada, a execução do pipeline com erro será interrompida. Do contrário, a execução do pipeline continua, mas o resultado irá mostrar um valor falso para a propriedade "success"
.
False
Booleano
Aba Documentation
Documentation
Seção para documentar qualquer informação necessária sobre a configuração do conector e regras de negócio.
N/A
String
Note que um arquivo Parquet comprimido produz um conteúdo JSON de tamanho maior que o do arquivo ao ser lido. Portanto, é importante validar se o pipeline terá memória suficiente para lidar com os dados em questão, uma vez que serão armazenados na memória do pipeline.
Exemplos de uso
Lendo arquivo
Lendo um arquivo Parquet sem verificar o tamanho do arquivo:
File Name: file.parquet
Check File Size: desativado
Saída:
Lendo arquivo - Verificando tamanho do arquivo
Lendo um arquivo Parquet verificando se seu tamanho é maior que Maximum File Size:
File Name: file.parquet
Check File Size: ativado
Maximum File Size: 5000000
Saída:
Atualizado