Stream File Reader

Descubra mais sobre o componente Stream File Reader e saiba como utilizá-lo na Digibee Integration Platform.

O Stream File Reader lê um arquivo local em um estrutura JSON, que atualmente suporta apenas CSV, e dispara subpipelines para processar cada mensagem. Isso deve ser utilizado para arquivos grandes.

Parâmetros

Dê uma olhada nos parâmetros de configuração do componente. Parâmetros suportados por expressões Double Braces estão marcados com (DB).

Parâmetro	Descrição	Valor padrão	Tipo de dado
File Name (DB)	Nome do arquivo ou full file path (ex.: tmp/processed/file.txt) do arquivo local.	data.csv	String
Charset	Nome do código de caracteres para a leitura do arquivo.	UTF-8	String
Element Identifier	Atributo que será enviado em caso de erros.	data	String
Parallel Execution Of Each Iteration	Ocorre em paralelo com a execução do loop.	False	Booleano
Ignore Invalid Charset	Se a opção estiver ativada, o charset inválido configurado no componente será ignorado juntamente com o arquivo recebido.	False	Booleano
Fail On Error	Se a opção estiver ativada, a execução do pipeline com erro será interrompida; do contrário, a execução do pipeline continua, mas o resultado vai mostrar um valor falso para a propriedade "success".	False	Booleano
Advanced	Definição de parâmetros avançados.	False	Booleano
Skip	Número de linhas a serem puladas antes da leitura do arquivo.	N/A	Inteiro
Limit	Número máximo de linhas a serem lidas.	N/A	Inteiro

Fluxo de Mensagens

Entrada

O componente espera uma mensagem no seguinte formato:

{
"filename": "fileName"
}

O Local File Name substitui o arquivo local padrão.

Saída

{
"total": 0,
"success": 0,
"failed": 0
}

• total: número total de linhas processadas.

• success: número total de linhas processadas com sucesso.

• failed: número total de linhas cujo processamento falhou.

Para saber se uma linha foi processada corretamente, deve haver o retorno { "success": true } para cada linha processada.

O componente joga uma exceção se o File Name não existir ou não puder ser lido.

A manipulação de arquivos dentro de um pipeline ocorre de forma protegida. Todos os arquivos podem ser acessados apenas por um diretório temporário, no qual cada pipeline key dá acesso ao seu próprio conjunto de arquivos.

Este componente realiza processamento em lote. Para entender melhor o conceito, leia o artigo sobre Processamento em lote.