Saiba como exportar logs de pipelines para sistemas de monitoramento fora da Digibee Integration Platform.
Atualizado
Isto foi útil?
Os logs ajudam a entender o que aconteceu durante a execução dos pipelines e a investigar comportamentos inesperados. Você pode visualizá-los diretamente na página de em Monitor.
No entanto, se você precisar monitorar logs usando sistemas externos como ElasticSearch, Kibana, Graylog ou Splunk, é possível criar fluxos dedicados usando o padrão Log Stream.
O padrão Log Stream utiliza o Event Broker interno da Digibee para desacoplar o envio de logs do fluxo principal, evitando sobrecarga ou atrasos na execução primária da integração. Esse padrão envolve a divisão do fluxo em dois pipelines:
Pipeline de Regra de Negócio: Organiza a lógica de negócio principal e gera os eventos de log.
Pipeline de Log Stream: Escuta os eventos e exporta os logs para os serviços externos desejados.
Veja abaixo como configurar cada um desses pipelines.
Esse pipeline define a lógica principal do fluxo e gera os eventos de log.
OnProcess (obrigatório): Caminho principal de execução.
OnException: Acionado apenas se ocorrer um erro no subfluxo OnProcess.
Dentro de OnProcess, adicione:
Configure o Event Publisher para enviar o payload de log desejado, por exemplo:
A estrutura resultante do pipeline de Regra de Negócio (onde normalmente seria usado um conector Log) deve se parecer com esta:
Esse pipeline recebe e processa os eventos de log. Siga estas etapas para configurá-lo:
Enviar logs para vários destinos
No exemplo abaixo, um conector Choice direciona os logs para Graylog ou Kibana via conector REST V2:
Oculte ou mascare informações sensíveis (como PII, credenciais, tokens).
Use controles por campo ou Cápsulas para garantir conformidade com políticas de proteção de dados.
Em vez de criar um pipeline dedicado para Log Stream, considere usar Cápsulas para centralizar e reutilizar a lógica de manipulação de logs.
No local onde normalmente você usaria um , siga os passos abaixo para melhorar o gerenciamento dos logs com o padrão Log Stream:
Use o (no modo “put data”) para armazenar valores-chave do contexto do pipeline, como informações do usuário ou detalhes do erro, que serão recuperados antes de publicar os logs. Isso garante que todos os dados relevantes estejam disponíveis ao acionar o pipeline de Log Stream.
O cria dois subfluxos:
Um
Um (no modo “get data”) para recuperar o contexto armazenado
Um para acionar o pipeline de Log Stream
Dica: Use variáveis como {{ metadata.$ }} para extrair dados do fluxo e do pipeline e facilitar a análise durante um processo de investigação. Saiba mais sobre .
Dentro de OnException, adicione um para evitar falhas silenciosas.
Defina o como trigger (gatilho) do pipeline e configure-o para corresponder ao nome do evento usado no Event Publisher do pipeline de Regra de Negócio. Isso garante que o pipeline de Log Stream seja acionado sempre que um evento de log for publicado.
Use conectores como ou para enviar os dados de log às ferramentas externas. Você pode:
Encaminhar logs condicionalmente usando o
Envolva chamadas externas em um .
OnProcess: Use o conector e valide as respostas com um conector seguido de um , ou use um conector .
OnException: Envie alertas para falhas de entrega com o conector , seguido de um .
Ative a lógica de tentativas (retry) nas configurações avançadas do conector .
Saiba mais sobre .
Saiba mais sobre o .
Coloque seu conhecimento em prática! Experimente o .
