Conheça as possíveis causas de erros “Out of memory” na implantação de pipeline e como corrigi-los adequadamente.
O erro de falta de memória, “Out of Memory”, ocorre quando o pipeline tenta consumir mais memória do que foi alocada durante a implantação.
A primeira etapa para resolver esse problema é encontrar sua causa analisando os logs de execução do pipeline com falha. A sobrecarga de memória pode ter acontecido por:
fazer consultas em uma grande quantidade de dados sem paginação em uma solicitação HTTP, um banco de dados ou ao baixar e ler um arquivo na memória;
executar muitas execuções simultâneas;
usar o componente Session Management para armazenar dados e não limpá-lo após a leitura.
Nota: Verifique a data da última implantação. Se for mais antigo que a última versão, execute uma reimplantação para atualizar o pipeline.
Para atualizar o Pipeline Engine para uma possível nova versão, a primeira coisa que você precisa fazer é reimplantar o pipeline (reciclagem do pipeline). Para obter mais informações, consulte Reimplantando um pipeline.
Isso pode acontecer porque a Digibee Integration Platform atualiza regularmente sua infraestrutura. Parte desta atualização é reciclar os computadores que oferecem suporte à infraestrutura. Saiba mais sobre reciclagem de pipelines em Alerta nos pipelines em Run.
Os erros de “Out of memory” também podem ser resolvidos por paginação e/ou uma arquitetura orientada a eventos. A paginação permite que você processe dados em partes, em vez de tudo de uma só vez. Para obter mais informações sobre paginação, consulte Exemplos de paginação.
Implementar uma arquitetura orientada a eventos significa usar o pipeline principal para recuperar dados e criar um loop que passa por esses dados e chama um segundo pipeline que possui um event trigger.
Dessa forma, você divide a carga de memória e cria um fluxo de integração escalável que funciona com conjuntos de dados pequenos e grandes. Para saber mais sobre Arquiteturas orientadas a eventos, consulte este artigo.
Após os ajustes necessários no pipeline, reimplante novamente no ambiente de teste.
Os consumidores compartilham a memória disponível no contêiner. Ou seja, quanto mais consumidores, menos memória disponível para cada um. É recomendável adicionar novas réplicas a esse pipeline para fluir o processo.
Um pipeline SMALL com 2 réplicas tem o dobro do desempenho de processamento e escalabilidade e assim por diante. As réplicas não apenas fornecem mais poder de processamento e escalabilidade, mas também garantem maior disponibilidade - se uma das réplicas falhar, haverá outras para assumir. Para obter mais informações sobre esses conceitos, consulte Pipeline Engine.
Após fazer os ajustes necessários no pipeline, reimplante-o no ambiente de teste. Se o erro persistir, aumente o Tamanho da implantação do pipeline.
Uma boa prática para reduzir o risco de sobrecarga ou falta de memória é a limpeza do componente Session Management, que salva os dados depois de lê-los. Para realizar esta ação, configure a função DELETE nas operações do componente.
Assim, após o componente enviar a mensagem como resposta final, é possível limpar os dados armazenados após a leitura com a operação DELETE caso este componente seja a última etapa do pipeline. Para saber mais sobre o componente Session Management, consulte este artigo.
Atualizado
Isto foi útil?
Isto foi útil?
