HTTP File Trigger - Uploads

Descubra mais sobre o HTTP File Trigger e saiba como utilizá-lo para fazer uploads na Digibee Integration Platform.

O HTTP File Trigger envia arquivos grandes (com tamanho superior a 5 MB) para pipelines de forma robusta e eficiente, usando HTTP.

Paramêtros

Dê uma olhada nas opções de configuração do componente. Parâmetros suportados por expressões Double Braces estão marcados com (DB).

Existe um parâmetro de configuração global que obriga todos os pipelines a serem publicados com ao menos a opção API Key ou Basic Auth habilitada.

Informações adicionais sobre parâmetros

Add Cross-Origin Resource Sharing (CORS) - CORS Headers (DB)

Utilizamos vírgula para informar múltiplos valores em um header, mas não adicionamos espaço antes ou após a vírgula. Caracteres especiais não devem ser utilizados nas chaves, por conta de possíveis falhas em proxys e gateways.

mTLS enabled API

Este parâmetro não suporta API Key, JWT ou Basic Auth. Para utilizá-lo no seu realm, é necessário fazer uma solicitação via chat e assim enviaremos as informações necessárias para instalação deste serviço.

Remove Digibee Prefix from Route

Como explicado anteriormente, esta opção é recomendada para remover o prefixo de rota padrão Digibee da rota do pipeline.

Digamos que você tenha criado um pipeline e definido o trigger da seguinte forma:

Com as configurações aplicadas e o pipeline implantado, você terá uma nova URL:

https://test.godigibee.io/products

Ao remover o prefixo padrão e definir a rota do pipeline pelo parâmetro Additional API Routes, tenha cuidado para não definir uma rota de pipeline existente que esteja em uso por outros pipelines. Caso você tenha mais do que uma versão principal do pipeline, também é importante ter em mente que o versionamento da rota do pipeline deve ser feito pelo usuário devido à ausência de um parâmetro para versionamento da rota. Por exemplo: /pipeline/realm/v1/.

Rate Limit

Ao criarmos APIs, geralmente queremos limitar o número de requisições da API que usuários podem fazer em um dado intervalo de tempo.

Esta ação pode ser executada ativando a opção Rate Limit e aplicando as seguintes configurações:

Se a API possui rotas adicionais, o limite é compartilhado entre todas as rotas. Para aplicar as configurações de rate limit, a API precisa ser configurada com uma API Key ou Basic Auth para que o parâmetro Aggregate by possa ser usado por grupos de credenciais se a opção Consumer estiver selecionada, ou por credenciais individuais se a opção Credential (API Key, Basic Auth) estiver selecionada.

Se vários parâmetros Interval estiverem configurados com valores repetidos, apenas um desses valores é considerado. Também é necessário que um valor maior que zero seja informado para o parâmetro Limit.

Se as opções de rate limiting não forem definidas corretamente, elas serão ignoradas e um warning log será emitido. Você pode visualizar esse log na página de Pipeline Logs.

HTTP File Trigger em ação

Cenário 1: POST de um arquivo com content type multipart/form-data

Digamos que você queira enviar um arquivo com mais de 5MB. Você pode chamar um endpoint de pipeline configurado com HTTP Trigger via POST com o content type multipart/form-data para que esse arquivo fique disponível para ser trabalhado pelo pipeline.

Veja como fazer isso:

  1. Crie um pipeline e configure seu trigger como HTTP-File, habilitando a opção Form Data Uploads.

  2. Implante o pipeline.

  3. Crie um consumer e o configure de modo que tenha acesso ao pipeline.

  4. Chame o pipeline através deste curl:

curl -d “@file_name” https://godigibee.io/pipeline/realm_name/v1/http-file-upload  -v -H 'Content-Type: application/pdf' -H 'apikey: generated_token'
  • file_name: se refere a um arquivo local.

  • realm_name: se refere ao realm onde o pipeline se encontra.

  • generated_token: se refere à chave de API gerada pelo consumer recém-criado.

O pipeline receberá um array files[] contendo:

  • fileName

  • param

  • contentType

Dessa maneira, o arquivo pode ser referenciado e acessado a partir do pipeline:

{
  "body": null,
  "form": {},
  "headers": {
  ...
  },
  "queryAndPath": {},
  "method": "POST",
  "contentType": "application/pdf",
  "path": "/pipeline/realm_name/v1/http-file-upload",
  "files": [
    {      
      "fileName": "55acdc09-c0fc-4f6a-b3ee-f4199076b0c4",
      "param": "body",
      "contentType": "application/pdf"    
    }  
  ]
}

Cenário 2: POST de múltiplos arquivos com content type multipart/form-data

Digamos que você tenha vários arquivos com mais de 5MB. Você pode chamar um endpoint de pipeline configurado com HTTP Trigger via POST com o content type multipart/form-data para que esses arquivos fiquem disponíveis para serem trabalhados pelo pipeline.

Para viabilizar isso, basta seguir estes passos:

  1. Crie um pipeline e configure seu trigger como HTTP-File, habilitando a opção Form Data Uploads.

  2. Implante o pipeline.

  3. Crie um consumer e o configure de modo que tenha acesso ao pipeline.

  4. Chame o pipeline através deste curl:

curl -F dgbfile1=@file_name1 -F dgbfile2=@file_name2 https://godigibee.io/pipeline/realm_name/v1/http-file-upload -v -H 'apikey: generated_token'
  • file_name1: se refere a um arquivo local.

  • file_name2: se refere a um arquivo local.

  • realm_name: se refere ao realm onde o pipeline se encontra.

  • generated_token: se refere à chave de API gerada pelo consumer recém-criado.

O pipeline receberá um array files[] contendo:

  • fileName

  • originalFileName

  • param

  • charset

  • contentLength

  • contentType

Dessa maneira, os arquivos podem ser referenciados e acessados a partir do pipeline:

{
  "body": "",
  "form": {},
  "headers": {
    ...
  },
  "queryAndPath": {},
  "method": "POST",
  "contentType": "multipart/form-data; boundary=------------------------b3c985803b952f2c",
  "path": "/pipeline/realm_name/v1/http-file-upload",
  "files": [
    {
      "fileName": "96f3ecb2-1c72-4980-9f01-6f44cafc719f",
      "originalFileName": "file1",
      "param": "dgbfile1",
      "contentType": "application/octet-stream",
      "charset": "UTF-8",
      "contentLength": 5242880
    },
    {
      "fileName": "58fb844f-a1d1-4788-b9b4-30df4b69165e",
      "originalFileName": "file2",
      "param": "dgbfile2",
      "contentType": "application/octet-stream",
      "charset": "UTF-8",
      "contentLength": 5242880
    }
  ]
}

Cenário 3: POST com qualquer content type e body com mais de 5 MB

Digamos que você tenha vários arquivos com mais de 5MB. Você pode chamar um endpoint de pipeline configurado com HTTP Trigger via POST com qualquer content type para que esses arquivos fiquem disponíveis para serem trabalhados pelo pipeline.

Tudo o que você tem que fazer é:

  1. Criar um pipeline e configure seu trigger como HTTP-File, habilitando a opção Body Uploads.

  2. Implantar o pipeline.

  3. Criar um consumer e o configure de modo que tenha acesso ao pipeline.

  4. Chamar o pipeline através deste curl:

curl -d '@file_name1' https://godigibee.io/pipeline/realm_name/v1/http-file-upload -v -H 'apikey: generated_token'
  • file_name: se refere a um arquivo local.

  • realm_name: se refere ao realm onde o pipeline se encontra.

  • generated_token: se refere à chave de API gerada pelo consumer recém-criado.

O pipeline receberá um array files[] contendo:

  • fileName

  • param

  • charset

  • contentType

Dessa maneira, os arquivos podem ser referenciados e acessados a partir do pipeline:

{
  "body": null,
  "form": {},
  "headers": {
    ...
  },
  "queryAndPath": {},
  "method": "POST",
  "contentType": "application/pdf",
  "path": "/pipeline/realm_name/v1/http-file-upload",
  "files": [
    {
      "fileName": "55acdc09-c0fc-4f6a-b3ee-f4199076b0c4",
      "param": "body",
      "contentType": "application/pdf"
    }
  ]
}

Resposta do HTTP File Trigger

É simples definir o formato da resposta do pipeline. Adicione um Transformer ao final do pipeline e defina a resposta:

{  
    "body": "<xml>Output 1</xml>",  
    "code": 200,  
    "Content-Type": "application/xml"
}

Outra solução é indicada em situações onde há uma limitação de tamanho de resposta para payloads maiores que 5 MB. Nesse caso, é recomendável que a resposta do pipeline seja um arquivo e não um payload. Isso pode ser feito usando o componente File Writer para gerar o arquivo e referenciá-lo na resposta do pipeline através da propriedade "file" ao invés da propriedade "body":

{
"file": {{ message.fileName }},
"code": 200,
"Content-Type": "application/json"
}

Content-Type precisa ser um dos valores definidos em Response Content Types.

Leia o artigo HTTP File Trigger - Downloads para saber como se certificar de que a saída do pipeline seja um arquivo.

Last updated