Parquet File Reader

Saiba mais sobre o conector Parquet File Reader e saiba como utilizá-lo na Digibee Integration Platform.

O Parquet File Reader é um conector exclusivo do Pipeline Engine v2.

O conector Parquet File Reader permite que você leia arquivos Parquet.

Parquet é um formato de arquivo em coluna projetado para armazenamento e recuperação de dados eficientes. Você pode obter mais informações no site oficial.

Parâmetros

Dê uma olhada nos parâmetros de configuração do conector. Parâmetros suportados por expressões Double Braces estão marcados com (DB).

Aba General

ParâmetroDescriçãoValor padrãoTipo de dado

File Name (DB)

Nome do arquivo Parquet a ser lido.

{{ message.fileName }}

String

Check File Size

Se habilitado, o valor de Maximum File Size é verificado. Caso o tamanho do arquivo seja maior que o especificado, um erro será exibido.

False

Booleano

Maximum File Size

Especifica o tamanho máximo permitido (em bytes) do arquivo a ser lido.

N/A

Inteiro

Fail On Error

Se a opção estiver ativada, a execução do pipeline com erro será interrompida. Do contrário, a execução do pipeline continua, mas o resultado irá mostrar um valor falso para a propriedade "success".

False

Booleano

Aba Documentation

ParâmetroDescriçãoValor padrãoTipo de dado

Documentation

Seção para documentar qualquer informação necessária sobre a configuração do conector e regras de negócio.

N/A

String

Note que um arquivo Parquet comprimido produz um conteúdo JSON de tamanho maior que o do arquivo ao ser lido. Portanto, é importante validar se o pipeline terá memória suficiente para lidar com os dados em questão, uma vez que serão armazenados na memória do pipeline.

Exemplos de uso

Lendo arquivo

Lendo um arquivo Parquet sem verificar o tamanho do arquivo:

  • File Name: file.parquet

  • Check File Size: desativado

Saída:

{
  "data": [
    {
      "name": "Aquiles",
      "phoneNumbers": [
        "11 99999-9999",
        "11 93333-3333"
      ],
      "active": true,
      "address": "St. Example",
      "score": 71.3,
      "details": "Some details"
    }
  ],
  "fileName": "file.parquet",
  "total": 1
}

Lendo arquivo - Verificando tamanho do arquivo

Lendo um arquivo Parquet verificando se seu tamanho é maior que Maximum File Size:

  • File Name: file.parquet

  • Check File Size: ativado

  • Maximum File Size: 5000000

Saída:

{
  "data": [
    {
      "name": "Aquiles",
      "phoneNumbers": [
        "11 99999-9999",
        "11 93333-3333"
      ],
      "active": true,
      "address": "St. Example",
      "score": 71.3,
      "details": "Some details"
    }
  ],
  "fileName": "file.parquet",
  "total": 1
}

Atualizado