Stream CSV Reader (Beta)

Saiba mais sobre o conector Stream CSV Reader e como usá-lo na Digibee Integration Platform.

O conector Magento está atualmente em fase beta. Entenda mais sobre o Programa Beta.

O Stream CSV Reader lê um arquivo CSV local linha por linha em uma estrutura JSON e aciona subfluxos para processar cada linha. Esse recurso é recomendado para cenários em que arquivos grandes precisam ser processados de forma eficiente e em escala.

Parâmetros

Configure o conector usando os parâmetros abaixo. Os campos que suportam expressões Double Braces são marcados na coluna Suporta DB.

Este conector é compatível com o parâmetro Alias, que permite salvar sua saída e referenciá-la posteriormente no fluxo usando expressões Double Braces. Saiba mais.

General

Parâmetro	Descrição	Tipo	Suporta DB	Padrão
File Name	Nome do arquivo CSV local a ser lido.	String	✅	data.csv
Charset	Codificação de caracteres usada para ler o arquivo.	String	❌	UTF-8
Element Identifier	Em caso de erros, os atributos definidos serão enviados para o subprocesso onException.	String	❌	data
Parallel Execution Of Each Iteration	Se ativado, cada linha é processada em paralelo.	Booleano	❌	False
Ignore Invalid Charset	Se ativado, caracteres com codificação inválida são ignorados.	Booleano	❌	False
Fail On Error	Se ativado, a execução do pipeline é interrompida em caso de erro. Se desativado, a execução continua, mas a propriedade "success" será definida como false.	Booleano	❌	False
Advanced	Ativa parâmetros avançados.	Booleano	❌	False
Delimiter	Define qual delimitador usar.	String	❌	N/A
Skip	O número de linhas a serem puladas antes de começar a ler o arquivo.	Integer	✅	N/A
Limit	Número máximo de linhas a serem lidas do arquivo. Um valor igual a 0 indica que não há limite.	Integer	✅	0
Chunk Size	Number of lines to process in each batch.	Integer	✅	1
Ignore Header	Se ativado, a primeira linha (cabeçalho) do arquivo é ignorada.	Booleano	❌	False
Custom Header (,)	Define uma lista separada por vírgulas de cabeçalhos personalizados a serem usados ​​em vez dos cabeçalhos CSV originais.	Integer	❌	N/A
Filter Headers (,)	Define quais cabeçalhos CSV devem ser lidos, fornecidos como uma lista separada por vírgulas.	Integer	❌	N/A

Documentation

Fluxo de mensagens

Entrada

O conector aguarda uma mensagem no seguinte formato:

{
  "filename": "fileName"
}

Saída

{
  "total": 0,
  "success": 0,
  "failed": 0
}

• total: Número total de linhas processadas.

• success: Número total de linhas processadas com sucesso.

• failed: Número total de linhas cujo processamento falhou.

Para saber se uma linha foi processada corretamente, a resposta { "success": true } precisa estar presente para cada linha processada.

Informações adicionais

• O conector lança uma exceção se o File Name não existir ou não puder ser lido.

• A manipulação de arquivos dentro de um pipeline ocorre de forma protegida. Todos os arquivos são acessados por meio de um diretório temporário, no qual cada chave de pipeline tem acesso apenas ao seu próprio conjunto de arquivos.

• Este conector realiza o processamento em lote, o que significa que os dados são processados de forma contínua, controlada e em pequenos lotes.