Avro File Reader

Saiba mais sobre o conector Avro File Reader e como utilizá-lo na Digibee Integration Platform.

O Avro File Reader é um conector exclusivo do Pipeline Engine v2.

O conector Avro File Reader permite que você leia arquivos Avro.

Avro é um framework para serialização de dados utilizado no ecossistema Hadoop Big Data, conhecido por seu suporte à evolução de schema e compactação. Para mais informações, veja o site oficial.

Parâmetros

Dê uma olhada nos parâmetros de configuração do conector. Parâmetros suportados por expressões Double Braces estão marcados com (DB).

Aba General

ParâmetroDescriçãoValor padrãoTipo de dado

File Name (DB)

Nome do arquivo Avro a ser lido.

{{ message.fileName }}

String

Check File Size

Se habilitado, o valor de Maximum File Size é verificado. Caso o tamanho do arquivo seja maior que o especificado, um erro será exibido.

False

Booleano

Maximum File Size

Especifica o tamanho máximo permitido (em bytes) do arquivo a ser lido.

N/A

Inteiro

Fail On Error

Se a opção estiver ativada, a execução do pipeline com erro será interrompida. Do contrário, a execução do pipeline continua, mas o resultado irá mostrar um valor falso para a propriedade "success".

False

Booleano

Aba Documentation

ParâmetroDescriçãoValor padrãoTipo de dado

Documentation

Seção para documentar qualquer informação necessária sobre a configuração do conector e regras de negócio.

N/A

String

Note que um arquivo Avro comprimido produz um conteúdo JSON de tamanho maior que o do arquivo ao ser lido. Portanto, é importante validar se o pipeline possuirá memória o suficiente para lidar com os dados em questão, uma vez que esses serão armazenados na memória do pipeline.

Exemplos de uso

Lendo arquivo

Lendo um arquivo Avro sem verificar o tamanho do arquivo:

  • File Name: file.avro

  • Check File Size: desativado

Saída:

{
  "data": [
    {
      "name": "Aquiles",
      "phoneNumbers": [
        "11 99999-9999",
        "11 93333-3333"
      ],
      "active": true,
      "address": "St. Example",
      "score": 71.3,
      "details": "Some details"
    }
  ],
  "fileName": "file.avro",
  "total": 1
}

Lendo arquivo - Verificando tamanho do arquivo

Lendo um arquivo Avro verificando se seu tamanho é maior que Maximum File Size:

  • File Name: file.avro

  • Check File Size: ativado

  • Maximum File Size: 5000000

Saída:

{
  "data": [
    {
      "name": "Aquiles",
      "phoneNumbers": [
        "11 99999-9999",
        "11 93333-3333"
      ],
      "active": true,
      "address": "St. Example",
      "score": 71.3,
      "details": "Some details"
    }
  ],
  "fileName": "file.avro",
  "total": 1
}

Atualizado