Avro File Reader

Saiba mais sobre o conector Avro File Reader e como utilizá-lo na Digibee Integration Platform.

O Avro File Reader é um conector exclusivo do Pipeline Engine v2.

O conector Avro File Reader permite que você leia arquivos Avro.

Avro é um framework para serialização de dados utilizado no ecossistema Hadoop Big Data, conhecido por seu suporte à evolução de schema e compactação. Para mais informações, veja o site oficial.

Parâmetros

Dê uma olhada nos parâmetros de configuração do conector. Parâmetros suportados por expressões Double Braces estão marcados com (DB).

Aba General

Parâmetro	Descrição	Valor padrão	Tipo de dado
File Name (DB)	Nome do arquivo Avro a ser lido.	{{ message.fileName }}	String
Check File Size	Se habilitado, o valor de Maximum File Size é verificado. Caso o tamanho do arquivo seja maior que o especificado, um erro será exibido.	False	Booleano
Maximum File Size	Especifica o tamanho máximo permitido (em bytes) do arquivo a ser lido.	N/A	Inteiro
Fail On Error	Se a opção estiver ativada, a execução do pipeline com erro será interrompida. Do contrário, a execução do pipeline continua, mas o resultado irá mostrar um valor falso para a propriedade "success".	False	Booleano

Aba Documentation

Parâmetro	Descrição	Valor padrão	Tipo de dado
Documentation	Seção para documentar qualquer informação necessária sobre a configuração do conector e regras de negócio.	N/A	String

Note que um arquivo Avro comprimido produz um conteúdo JSON de tamanho maior que o do arquivo ao ser lido. Portanto, é importante validar se o pipeline possuirá memória o suficiente para lidar com os dados em questão, uma vez que esses serão armazenados na memória do pipeline.

Exemplos de uso

Lendo arquivo

Lendo um arquivo Avro sem verificar o tamanho do arquivo:

• File Name: file.avro

• Check File Size: desativado

Saída:

{
  "data": [
    {
      "name": "Aquiles",
      "phoneNumbers": [
        "11 99999-9999",
        "11 93333-3333"
      ],
      "active": true,
      "address": "St. Example",
      "score": 71.3,
      "details": "Some details"
    }
  ],
  "fileName": "file.avro",
  "total": 1
}

Lendo arquivo - Verificando tamanho do arquivo

Lendo um arquivo Avro verificando se seu tamanho é maior que Maximum File Size:

• File Name: file.avro

• Check File Size: ativado

• Maximum File Size: 5000000

Saída:

{
  "data": [
    {
      "name": "Aquiles",
      "phoneNumbers": [
        "11 99999-9999",
        "11 93333-3333"
      ],
      "active": true,
      "address": "St. Example",
      "score": 71.3,
      "details": "Some details"
    }
  ],
  "fileName": "file.avro",
  "total": 1
}