Parquet File Reader

Saiba mais sobre o conector Parquet File Reader e saiba como utilizá-lo na Digibee Integration Platform.

O conector Parquet File Reader permite que você leia arquivos Parquet.

Parquet é um formato de arquivo em coluna projetado para armazenamento e recuperação de dados eficientes. Você pode obter mais informações no site oficial.

Parâmetros

Configure o conector usando os parâmetros abaixo. Campos que suportam expressões Double Braces estão marcados na coluna Suporta DB.

General

Parâmetro	Descrição	Tipo	Suporta DB	Padrão
Alias	Nome (alias) para a saída deste conector, permitindo que você o referencie posteriormente no fluxo usando Double Braces expressions.	String	✅	parquet-file-reader-1
File Name	Nome do arquivo Parquet a ser lido.	String	✅	{{ message.fileName }}
Check File Size	Se habilitado, o valor de Maximum File Size é verificado. Caso o tamanho do arquivo seja maior que o especificado, um erro será exibido.	Booleano	❌	False
Convert Date Fields	If enabled, DATE/TIMESTAMP fields from the file are converted to string format (e.g. yyyy-MM-dd for DATE, ISO-8601 for TIMESTAMP). When default, dates remain as numeric values (days/millis since epoch).	Booleano	❌	False
Date Field Paths (optional)	Manually indicates date fields when the schema does not declare a logical type DATE.	String	❌	N/A
Decode Base64 Fields	If enabled, the connector recursively scans the output JSON nodes. Any string identified as a valid Base64 sequence is automatically decoded to UTF-8 and replaced in-place.	Booleano	❌	False
Maximum File Size	Especifica o tamanho máximo permitido (em bytes) do arquivo a ser lido.	Inteiro	❌	N/A
Fail On Error	Se a opção estiver ativada, a execução do pipeline com erro será interrompida. Do contrário, a execução do pipeline continua, mas o resultado irá mostrar um valor falso para a propriedade "success".	Booleano	❌	False

Documentation

Parâmetro	Descrição	Tipo	Suporta DB	Padrão
Documentation	Seção para documentar qualquer informação necessária sobre a configuração do conector e regras de negócio.	String	❌	N/A

Note que um arquivo Parquet comprimido produz um conteúdo JSON de tamanho maior que o do arquivo ao ser lido. Portanto, é importante validar se o pipeline terá memória suficiente para lidar com os dados em questão, uma vez que serão armazenados na memória do pipeline.

Exemplos de uso

Lendo arquivo

Lendo um arquivo Parquet sem verificar o tamanho do arquivo:

• File Name: file.parquet

• Check File Size: desativado

Saída:

{
  "data": [
    {
      "name": "Aquiles",
      "phoneNumbers": [
        "11 99999-9999",
        "11 93333-3333"
      ],
      "active": true,
      "address": "St. Example",
      "score": 71.3,
      "details": "Some details"
    }
  ],
  "fileName": "file.parquet",
  "total": 1
}

Lendo arquivo - Verificando tamanho do arquivo

Lendo um arquivo Parquet verificando se seu tamanho é maior que Maximum File Size:

• File Name: file.parquet

• Check File Size: ativado

• Maximum File Size: 5000000

Saída:

{
  "data": [
    {
      "name": "Aquiles",
      "phoneNumbers": [
        "11 99999-9999",
        "11 93333-3333"
      ],
      "active": true,
      "address": "St. Example",
      "score": 71.3,
      "details": "Some details"
    }
  ],
  "fileName": "file.parquet",
  "total": 1
}