Digibee.comDigibee Academy

Google Storage

Descubra mais sobre o componente Google Storage e saiba como utilizá-lo na Digibee Integration Platform.

O Google Storage permite que uma conexão com o serviço Google Storage seja estabelecida e possibilita as seguintes operações com arquivos: List, Download, Upload e Delete.

Parâmetros

Dê uma olhada nos parâmetros de configuração do componente. Parâmetros suportados por expressões Double Braces estão marcados com (DB).

Parâmetro
Descrição
Valor padrão
Tipo de dado

Account

Para o componente fazer a autenticação ao serviço, é necessário usar uma conta do tipo Private key. Para saber mais sobre credenciais, visite a documentação oficial.

N/A

String

Operation

Operação a ser executada, que pode ser List, Download, Upload ou Delete.

Upload

String

Project ID

ID do projeto onde a operação com o arquivo será realizada.

projectId

String

Bucket Name

Esse recurso representa um bucket no Google Cloud Storage - há um único namespace compartilhado por todos os buckets.

bucketName

String

Page Size

Este parâmetro só está disponível quando a operação List é selecionada, e informa a quantidade de itens a serem retornados quando a operação List é utilizada.

Se o valor não for especificado, todos os itens são retornados. Caso haja mais itens do que a quantidade determinada neste parâmetro, é possível pedir uma segunda página (veja Page Token), a qual retorna os itens restantes.

N/A

Inteiro

Page Token

Este parâmetro só está disponível quando a operação List é selecionada, e define o token utilizado para solicitar a próxima página quando a operação List é utilizada. Nessa próxima página será retornada a quantidade de itens definidos no parâmetro Page Size.

N/A

String

File Name (DB)

Nome do arquivo ou caminho completo (full file path) para o arquivo local, disponível apenas nas operações Download e Upload.

local-pdf-test.pdf

String

Remote File Name (DB)

Nome do arquivo remoto ou caminho relativo (ex.: tmp/file.txt) para o arquivo remoto. Este parâmetro é apresentado nas operações Download, Upload e Delete.

pdf-test.pdf

String

Remote Directory

Diretório remoto base, que pode ser relativo (ex.: pub/tmp) ou absoluto (ex.: /root/pub), no qual será realizada a operação selecionada. Este parâmetro é apresentado nas operações List, Download, Upload e Delete.

folder

String

Generate Download Link

Se a opção estiver ativada, um link público para download do arquivo é gerado. Este parâmetro é aplicável apenas na operação Upload.

False

Booleano

Link Expiration

Tempo para expiração do link em milissegundos. Este parâmetro é válido apenas se a opção Generate Download Link estiver ativada.

0

Inteiro

Fail On Error

Se a opção estiver habilitada, a execução do pipeline com erro será interrompida; do contrário, a execução do pipeline continua, mas o resultado vai mostrar um valor falso para a propriedade "success".

False

Booleano

Fluxo de Mensagens

Entrada

Não se espera nenhuma mensagem de entrada específica e sim apenas o preenchimento dos parâmetros obrigatórios que variam conforme a operação selecionada. Veja abaixo a obrigatoriedade de parâmetros para cada operação:

  • List: Account, Project ID, Bucket Name

  • Download: Account, Project ID, Bucket Name, File Name e Remote File Name

  • Upload: Account, Project ID, Bucket Name, File Name e Remote File Name

  • Delete: Account, Project ID, Bucket Name e Remote File Name

No caso da operação Upload é necessária a existência de um arquivo no diretório local do pipeline.

Saída

Ao executar o componente utilizando a operação List, a seguinte estrutura de JSON será gerada:

{
  "content": [
    {
      "name": "temp//tmp/processed/file-3.txt",
      "contentType": "application/octet-stream",
      "contentEncoding": null,
      "createTime": 1581689153448,
      "bucket": "test-bucket",
      "size": 10
    },
    { ... }
  ],
  "pageToken": "XXXXXXXXXXXXL3RtcC9wcm9jZXNzZWQvZmlsZS0zLnR4dA==",
  "fileName": null,
  "remoteFileName": null,
  "remoteDirectory": "",
  "success": true
}

  • content: um vetor (array) de objetos para cada arquivo encontrado.

  • name: nome do arquivo remoto.

  • contentType: MIME type do arquivo.

  • contentEncoding: encoding do arquivo, caso exista.

  • createTime: timestamp da data de criação do arquivo.

  • bucket: bucket onde o arquivo se encontra.

  • size: tamanho do arquivo em bytes.

  • pageToken: token para recuperar próxima página.

  • fileName: nome do arquivo local.

  • remoteFileName: nome do arquivo remoto.

  • remoteDirectory: nome da pasta base remota.

  • success: "true" se a última operação ocorreu com sucesso.

  • error: surge se um erro ocorreu e o Fail on Error é "false".

Ao executar o componente utilizando as operações Download, Upload e Delete, a seguinte estrutura de JSON será gerada:

{
  "fileName": "file.txt",
  "remoteFileName": "tmp/iso-8859-1-test.txt",
  "remoteDirectory": "",
  "success": true
}

  • fileName: nome do arquivo local.

  • remoteFileName: nome do arquivo remoto.

  • remoteDirectory: nome da pasta base remota.

  • success: "true" se a última operação ocorreu com sucesso.

A manipulação de arquivos dentro de um pipeline ocorre de forma protegida. Todos os arquivos podem ser acessados apenas por um diretório temporário, no qual cada pipeline key dá acesso ao seu próprio conjunto de arquivos.

Google Storage em Ação

List - Lista de arquivos

Entrada

Parâmetros

Account: google-storage-test

Operation: List

Project ID: digibee-test

Bucket Name: digibee-test-digibee-test-bucket

Remote Directory: DGB-413

Page Size: 2

Saída

{
  "content": [
    {
      "name": "DGB-413/",
      "contentType": "text/plain",
      "contentEncoding": null,
      "createTime": 1552394033410,
      "bucket": "digibee-test-digibee-test-bucket",
      "size": 11
    },
    {
      "name": "DGB-413/iso8859-2.txt",
      "contentType": "text/plain",
      "contentEncoding": null,
      "createTime": 1552395963553,
      "bucket": "digibee-test-digibee-test-bucket",
      "size": 55
    }
  ],
  "pageToken": "ChVER0ItNDEzL2lzbzg4NTktMi50eHQ=",
  "fileName": null,
  "remoteFileName": null,
  "remoteDirectory": "DGB-413",
  "success": true
}

Como é possível ver, o resultado acima retorna a propriedade "pageToken" com um valor de referência para a próxima página. Essa propriedade será retornada quando o parâmetro Page Size é configurado (no exemplo está definido com o valor 2) e também quando há mais arquivos para serem listados.

List - Lista de vários arquivos usando paginação

Entrada

Parâmetros

Account: google-storage-test

Operation: List

Project ID: digibee-test

Bucket Name: digibee-test-digibee-test-bucket

Remote Directory: DGB-413

Page Size: 2

Page Token: ChVER0ItNDEzL2lzbzg4NTktMi50eHQ=

Saída

{
  "content": [
    {
      "name": "DGB-413/utf-16-test.txt",
      "contentType": "text/plain",
      "contentEncoding": null,
      "createTime": 1552394973030,
      "bucket": "digibee-test-digibee-test-bucket",
      "size": 70
    },
    {
      "name": "DGB-413/utf-test.txt",
      "contentType": "text/plain",
      "contentEncoding": null,
      "createTime": 1552394644597,
      "bucket": "digibee-test-digibee-test-bucket",
      "size": 55
    }
  ],
  "fileName": null,
  "remoteFileName": null,
  "remoteDirectory": "DGB-413",
  "success": true
}

No resultado acima a propriedade "pageToken" não foi retornada. Isso sinaliza que não há mais arquivos a serem listados.

Download de um arquivo

Entrada

Parâmetros

Account: google-storage-test

Operation: Download

Project ID: digibee-test

Bucket Name: digibee-test-digibee-test-bucket

File Name: iso8859-2.txt

Remote File Name: iso8859-2.txt

Remote Directory: DGB-413

Saída

{
  "fileName": "iso8859-2.txt",
  "remoteFileName": "iso8859-2.txt",
  "remoteDirectory": "DGB-413",
  "success": true
}

Será realizado o download do arquivo no diretório local do pipeline.

Upload de um arquivo

Entrada

Arquivo local: file.txt

Parâmetros

Account: google-storage-test

Operation: Upload

Project ID: digibee-test

Bucket Name: digibee-test-digibee-test-bucket

File Name: file.txt

Remote File Name: file.txt

Remote Directory: DGB-413

Saída

{
  "fileName": "file.txt",
  "remoteFileName": "file.txt",
  "remoteDirectory": "DGB-413",
  "success": true
}

Upload de um arquivo gerando link para download

Entrada

Arquivo local: file.txt

Parâmetros

Account: google-storage-test

Operation: Upload

Project ID: digibee-test

Bucket Name: digibee-test-digibee-test-bucket

File Name: file.txt

Remote File Name: file.txt

Remote Directory: DGB-413

Generate A Download Link: true

Link Expiration (in ms): 600000

Saída

{
  "fileName": "file.txt",
  "remoteFileName": "file.txt",
  "remoteDirectory": "DGB-413",
  "success": true,
  "urlGenerated": "<URL TO DOWNLOAD THE FILE>"
}

Com a configuração dos parâmetros de entrada acima, o arquivo ficará disponível para download por 10 minutos (600000ms) através do link gerado na propriedade de saída "urlGenerated".

Delete - Remoção de um arquivo

Entrada

Parâmetros

Account: google-storage-test

Operation: Delete

Project ID: digibee-test

Bucket Name: digibee-test-digibee-test-bucket

Remote File Name: file.txt

Remote Directory: DGB-413

Saída

{
  "fileName": null,
  "remoteFileName": "file.txt",
  "remoteDirectory": "DGB-413",
  "success": true
}
AnteriorGoogle DrivePróximoGoogle Storage: cenários de uso

Atualizado