Object Store
Descubra mais sobre o conector Object Store e saiba como utilizá-lo na Digibee Integration Platform.
O Object Store realiza operações para armazenar qualquer documento no Object Store da Digibee. É uma maneira rápida e fácil de salvar informações úteis do tipo JSON, que possui operações para auxiliar em diversos usos durante a criação de um pipeline.
Parâmetros
Dê uma olhada nas opções de configuração do conector. Parâmetros suportados por expressões Double Braces estão marcados com (DB)
.
Boas práticas de utilização
O Object Store é uma base de dados (NoSQL) auxiliar para integrações. Sua utilização confere mais agilidade e praticidade no desenvolvimento de integrações. Para exemplificar a aplicabilidade deste conector, listamos as seguintes boas práticas de utilização:
O Object Store desempenha a função de uma base de dados intermediária, isto é, para intermediação de informações entre fluxos de uma integração. Sendo assim, ele deve ser utilizado unicamente para armazenamento de informações relevantes para a integração em questão.
O Object Store é um banco de dados temporário. Uma vez utilizado para intermediar informações relevantes para o fluxo de integração, dados antigos e dispensáveis devem ser removidos regularmente do banco de dados. Você pode removê-los manualmente ou criar um index com um mecanismo de TTL (Time to live) para expirar automaticamente os dados antigos.
Por se tratar de uma base auxiliar, o conector Object Store não deve ser utilizado como uma base de dados permanente, mas sim de maneira pontual, com o objetivo de apoiar o usuário no desenvolvimento das integrações.
Todo e qualquer dado é armazenado com o máximo de segurança dentro da Digibee Integration Platform. Ainda assim, recomendamos que dados sensíveis armazenados no Object Store sejam criptografados. Para isso, utilize nossos conectores de criptografia disponíveis no canvas.
Fluxo de mensagens
Entrada
Para esse conector específico, o único padrão de mensagem de entrada obrigatória é o formato JSON aplicado ao objeto. O parâmetro de entrada pode utilizar a sintaxe de Double Braces para enviar a mensagem recebida para o conector.
Saída
Insert
Find
Update
Delete
Aggregate
Object Store em ação
Acima foram demonstrados alguns exemplos de saída de cada operação. Veja abaixo mais aplicações que demonstram a configuração correta para que se obtenha determinado resultado:
Inserir diversos itens de uma única vez em uma coleção
Ao enviar um array de objetos no campo query, o conector insere cada item de forma separada dentro da coleção selecionada.
Observe como configurar o conector com os parâmetros Operation (Insert), Unique Index (False) e Query:
Saída
A inserção de múltiplos objetos de uma só vez é permitida apenas em coleções criadas com Unique Index (False). A propriedade Unique Index é definida na criação da coleção. Depois que o index é criado, não é possível alterar a propriedade.
Encontrar itens a partir de uma determinada query
Como exemplo, considere um Object Store que já possui itens cadastrados do tipo produto e que tem as características de nome e preço.
Observe como configurar o conector com os parâmetros Operation (Find By Query) e Query:
Saída
Encontrar todos os itens a partir de uma query
Como exemplo, considere um Object Store que já possui itens cadastrados do tipo produto e que tem as características de nome e preço.
Observe como configurar o conector com os parâmetros Operation (Find By Query), Limit (10) e Query:
Saída
Nesse cenário específico, o parâmetro Limit foi configurado para que não haja uma sobrecarga desnecessária ao retornar os objetos de um Object Store. Caso a opção não seja configurada dessa forma, poderá ocorrer um erro de "Out Of Memory" dentro do pipeline. Da maneira indicada, existe controle sobre quantos objetos são visualizados na resposta.
Atualizar um item a partir de um ID específico
Como exemplo, considere um Object Store que já possui itens cadastrados do tipo produto e que possui as características de nome e preço.
Observe como configurar o conector com os parâmetros Operation (Update By Object ID), Object ID (3) e Document:
Saída
Nesse cenário específico, é possível ver que a saída é apenas um objeto identificando a realização de uma atualização. Para visualizar se o objeto foi devidamente atualizado, repita o cenário da busca por ID.
Se o conector Object Store estiver envolvido em atualizações, dentro de um conector de iterações (For Each, Stream File Reader, etc.) e realizando execuções paralelas, pode haver concorrência na atualização de registros caso as instruções de atualização de registros sejam exatamente iguais. Consequentemente, uma instrução retornará "updateCount":1 e a outra "updateCount": 0. Isso acontece quando 2 registros exatamente iguais entram no pool de operação do Object Store e as instruções de atualização ou inserção (com o parâmetro Upsert habilitado) são executadas sequencialmente. A primeira instrução efetiva uma atualização e a segunda encontra o registro já persistido e verifica que não há nada a ser modificado, retornando que nenhuma ação foi necessária ("updateCount": 0).
Remover um item a partir de um ID específico
Como exemplo, considere um Object Store que já possui itens cadastrados do tipo produto e que tem as características de nome e preço.
Observe como configurar o conector com os parâmetros Operation (Delete By Object ID) e Object ID (4).
Saída
Nesse cenário específico, é possível ver que a saída é apenas um objeto identificando a realização de uma atualização. Para visualizar se o objeto foi devidamente removido, repita o cenário da busca por ID.
Agregação para cópia da coleção
Como exemplo, considere um Object Store chamado "product" que já possui itens cadastrados do tipo produto e que tem as características de nome e preço. A partir disso, crie um novo Object Store chamado "product-backup", copiando todos os itens da coleção mencionada acima.
Você deve receber um array de objetos contendo os pipelines de agregação da query no parâmetro Document.
Observe como configurar o conector com os parâmetros Operation (Aggregate) e Query:
Nesse cenário específico, a query foi configurada para substituir itens repetidos pelos novos na coleção.
Saída
Para verificar se a coleção foi devidamente criada com os itens propostos, repita o cenário da busca por todos os itens e informe a coleção nova.
Agregação para filtro de itens da coleção
Você deve receber um array de objetos contendo os pipelines de agregação da query no parâmetro Document.
Observe como configurar o conector com os parâmetros Operation (Aggregate) e Query:
Nesse cenário específico, a query foi configurada para buscar os produtos que possuem determinado valor e apenas apresentar a soma deles.
Saída
Criar um index com tempo de expiração
Com o Object Store é possível criar um index com um atributo TTL (Time to live), com o qual você pode definir uma estratégia de expiração para os documentos. Esse comportamento é controlado no parâmetro Expire after seconds. Aqui estão alguns exemplos de como você pode criar indexes com estratégias de expiração:
Criar um index com TTL constante
Veja um exemplo para a configuração dos parâmetros Expire after seconds e Query:
O nome do campo deve corresponder ao atributo de data do seu documento, que controlará o tempo de vida do objeto. Além disso, todos os documentos com esse campo são automaticamente excluídos após o número de segundos especificado no parâmetro Expire after seconds.
Output
Criar um index com datas personalizadas
Veja um exemplo para a configuração dos parâmetros Expire after seconds e Query:
O nome do campo deve corresponder ao atributo de data do seu documento, que controlará o tempo de vida do objeto. Você também deve configurar o parâmetro Expire after seconds para 0.
Nesse cenário, a expiração é definida com a data e hora definidas no valor do campo correspondente no parâmetro Query.
Ao inserir novos documentos, certifique-se de que o campo que você configurou no index seja criado com um valor de data.
O TTL index não garante que os dados expirados sejam excluídos imediatamente após a expiração. Pode haver um atraso entre o momento em que um documento expira e o momento em que o Object Store remove o documento do banco de dados. Isso acontece porque a tarefa em segundo plano que remove documentos expirados é executada a cada 60 segundos.
Listar todos os indexes
Essa operação deve listar todos os indexes que o usuário criou em um Object Store.
Output
Fazer o drop um index existente
Nessa operação, é possível fazer o drop um index previamente criado pelo cliente.
Veja como configurar o conector com o parâmetro Drop Index Operation e Query:
Output
Tecnologia
O Object Store utiliza operadores de busca e agregação de objetos semelhantes à sintaxe do MongoDB. Consulte a documentação externa do MongoDB para saber mais.
Os dados do Object Store são isolados entre os ambientes. Entretanto, os dados do ambiente de Test compartilham o mesmo ambiente que os dados do Painel de execução.
Atualizado