Stream CSV Reader (Beta)

Saiba mais sobre o conector Stream CSV Reader e como usá-lo na Digibee Integration Platform.

O Stream CSV Reader está atualmente em fase beta. Entenda mais sobre o Programa Beta.

O Stream CSV Reader lê um arquivo CSV local linha por linha em uma estrutura JSON e aciona subfluxos para processar cada linha. Esse recurso é recomendado para cenários em que arquivos grandes precisam ser processados de forma eficiente e em escala.

Parâmetros

Dê uma olhada nos parâmetros de configuração do conector. Parâmetros suportados por expressões Double Braces estão marcados com (DB).

Este conector é compatível com o parâmetro Alias, que permite salvar sua saída e referenciá-la posteriormente no fluxo usando expressões Double Braces. Saiba mais.

Aba General

Parâmetro	Descrição	Valor padrão	Tipo de dado
File Name (DB)	Nome do arquivo CSV local a ser lido.	data.csv	String
Charset	Codificação de caracteres usada para ler o arquivo.	UTF-8	String
Headers	Cabeçalhos personalizados para substituir o cabeçalho original do arquivo (separados por vírgula).	A,B,C	String
Delimiter	Caractere usado para separar os valores no arquivo CSV.	,	String
Parallel Execution Of Each Iteration	Se ativado, cada linha é processada em paralelo.	False	Booleano
Ignore Invalid Charset	Se ativado, caracteres com codificação inválida são ignorados.	False	Booleano
Ignore Header	Se ativado, a primeira linha (cabeçalho) do arquivo é ignorada.	False	Booleano
Keep Header	Se ativado, o cabeçalho é processado como dado.	False	Booleano
Advanced	Ativa parâmetros avançados.	False	Booleano
Metadata Only	Se ativado, retorna apenas os metadados do arquivo (quantidade de linhas e tamanho do arquivo), sem processar os dados.	False	Booleano
Limit (DB)	Número máximo de linhas a serem lidas do arquivo. Um valor igual a 0 indica que não há limite.	0	Integer
Fail On Error	Se ativado, a execução do pipeline é interrompida em caso de erro. Se desativado, a execução continua, mas a propriedade "success" será definida como false.	False	Booleano

Aba Documentation

Parâmetro	Descrição	Valor padrão	Tipo de dado
Documentation	Campo opcional para descrever a configuração do conector e quaisquer regras de negócio relevantes.	N/A	String

Fluxo de mensagens

Entrada

O conector aguarda uma mensagem no seguinte formato:

{
  "filename": "fileName"
}

Saída

{
  "total": 0,
  "success": 0,
  "failed": 0
}

• total: Número total de linhas processadas.

• success: Número total de linhas processadas com sucesso.

• failed: Número total de linhas cujo processamento falhou.

Para saber se uma linha foi processada corretamente, a resposta { "success": true } precisa estar presente para cada linha processada.

Informações adicionais

• O conector lança uma exceção se o File Name não existir ou não puder ser lido.

• A manipulação de arquivos dentro de um pipeline ocorre de forma protegida. Todos os arquivos são acessados por meio de um diretório temporário, no qual cada chave de pipeline tem acesso apenas ao seu próprio conjunto de arquivos.

• Este conector realiza o processamento em lote, o que significa que os dados são processados de forma contínua, controlada e em pequenos lotes.