Parquet File Reader

Saiba mais sobre o conector Parquet File Reader e saiba como utilizá-lo na Digibee Integration Platform.

O Parquet File Reader é um conector exclusivo do Pipeline Engine v2.

O conector Parquet File Reader permite que você leia arquivos Parquet.

Parquet é um formato de arquivo em coluna projetado para armazenamento e recuperação de dados eficientes. Você pode obter mais informações no site oficial.

Parâmetros

Dê uma olhada nos parâmetros de configuração do conector. Parâmetros suportados por expressões Double Braces estão marcados com (DB).

Aba General

Parâmetro	Descrição	Valor padrão	Tipo de dado
File Name (DB)	Nome do arquivo Parquet a ser lido.	{{ message.fileName }}	String
Check File Size	Se habilitado, o valor de Maximum File Size é verificado. Caso o tamanho do arquivo seja maior que o especificado, um erro será exibido.	False	Booleano
Maximum File Size	Especifica o tamanho máximo permitido (em bytes) do arquivo a ser lido.	N/A	Inteiro
Fail On Error	Se a opção estiver ativada, a execução do pipeline com erro será interrompida. Do contrário, a execução do pipeline continua, mas o resultado irá mostrar um valor falso para a propriedade "success".	False	Booleano

Aba Documentation

Parâmetro	Descrição	Valor padrão	Tipo de dado
Documentation	Seção para documentar qualquer informação necessária sobre a configuração do conector e regras de negócio.	N/A	String

Note que um arquivo Parquet comprimido produz um conteúdo JSON de tamanho maior que o do arquivo ao ser lido. Portanto, é importante validar se o pipeline terá memória suficiente para lidar com os dados em questão, uma vez que serão armazenados na memória do pipeline.

Exemplos de uso

Lendo arquivo

Lendo um arquivo Parquet sem verificar o tamanho do arquivo:

• File Name: file.parquet

• Check File Size: desativado

Saída:

{
  "data": [
    {
      "name": "Aquiles",
      "phoneNumbers": [
        "11 99999-9999",
        "11 93333-3333"
      ],
      "active": true,
      "address": "St. Example",
      "score": 71.3,
      "details": "Some details"
    }
  ],
  "fileName": "file.parquet",
  "total": 1
}

Lendo arquivo - Verificando tamanho do arquivo

Lendo um arquivo Parquet verificando se seu tamanho é maior que Maximum File Size:

• File Name: file.parquet

• Check File Size: ativado

• Maximum File Size: 5000000

Saída:

{
  "data": [
    {
      "name": "Aquiles",
      "phoneNumbers": [
        "11 99999-9999",
        "11 93333-3333"
      ],
      "active": true,
      "address": "St. Example",
      "score": 71.3,
      "details": "Some details"
    }
  ],
  "fileName": "file.parquet",
  "total": 1
}