# Vector DB ## **Visão geral** O conector **Vector DB** desempenha um papel central em seu pipeline ao executar o processo de **ingestão de dados**. Ele converte informações em uma **representação vetorial** que pode ser utilizada posteriormente para **busca e recuperação semântica**. Quando um prompt é recebido, cálculos de similaridade identificam os vetores mais relevantes, e seus textos correspondentes são recuperados para enriquecer o contexto fornecido ao modelo de linguagem (LLM). Diferente dos bancos de dados tradicionais, que armazenam texto ou dados estruturados, um banco de dados vetorial armazena **embeddings**, que são representações numéricas que capturam o significado do conteúdo. Esses embeddings permitem que modelos de IA encontrem informações relacionadas com base em similaridade, em vez de correspondência exata de palavras-chave. ## **Como funciona** O funcionamento do conector envolve um processo sequencial com três etapas principais: {% stepper %} {% step %} #### **Ingestão de dados** O conector recebe dados de uma etapa anterior do pipeline. Esses dados podem vir de várias fontes, como o trigger ou outro conector da plataforma. Você pode definir o tipo de origem por meio do parâmetro **Source Type**: * **Text**: Para processar conteúdo de texto bruto. * **File**: Para processar um documento armazenado. {% endstep %} {% step %} #### **Geração de embedding** O conteúdo recebido é processado usando o **Embedding Model** configurado, que converte os dados em um vetor (uma lista de números que representa seu significado semântico). Esses vetores não são legíveis por humanos, mas são essenciais para buscas e recuperação baseadas em IA nas etapas seguintes. Fornecedores de modelos de embedding suportados incluem: * **Local (default):** Um modelo de embedding local leve (**all-MiniLM-L6-v2**) útil para casos de uso básicos ou testes. * **Fornecedores externos:** Você pode selecionar opções mais avançadas, como: * **Hugging Face**: Oferece uma variedade de modelos de texto e multimodais. * **OpenAI**: Suporta modelos como `text-embedding-3-small` e `text-embedding-3-large`. * **Google Vertex AI**: Permite geração de embeddings em nível empresarial. {% endstep %} {% step %} #### **Armazenamento de vetores** Após a geração dos embeddings, eles são armazenados no **Vector Store** configurado. Atualmente, o conector suporta: * **Neo4j** (banco de dados baseado em grafos). * Bancos de dados compatíveis com **Postgres**. {% endstep %} {% endstepper %} ## **Dimensões de vetores** Cada modelo de embedding produz vetores com uma **dimensão** específica (por exemplo, 3072 valores). A dimensão usada no modelo deve **corresponder exatamente** à dimensão definida na tabela do vector store de destino. Caso contrário, o processo de ingestão falhará. Quando a opção **Auto-Create** está ativada, o conector cria automaticamente uma nova tabela com a dimensão correta de acordo com o modelo de embedding selecionado. ## **Operações suportadas** No estágio atual, o conector suporta apenas operações de **ingestão**: * **Insert:** Armazena os embeddings gerados no vector store. * **Metadata:** É possível incluir metadados (pares chave–valor adicionais) ao armazenar embeddings, mas filtros baseados em metadata ainda não estão disponíveis. ## **Output** O conector retorna uma **mensagem de confirmação** indicando o resultado do processo de ingestão. Se suportado pelo modelo de embedding, a resposta também pode incluir informações adicionais, como o **número de tokens processados** durante a geração dos embeddings. ## **Configuração de parâmetros** Configure o conector usando os parâmetros abaixo. Campos que suportam [expressões Double Braces](https://docs.digibee.com/documentation/connectors-and-triggers/pt-br/double-braces) estão marcados na coluna **Suporta DB**. {% tabs fullWidth="true" %} {% tab title="General" %}

Parâmetro	Descrição	Tipo	Suporta DB	Padrão
Alias	Nome (alias) para a saída deste conector, permitindo que você o referencie posteriormente no fluxo usando Double Braces expressions.	String	✅	vector-db-1
Source Type	Define o tipo de dado que o conector irá processar. Tipos suportados: Text e File.	String	❌	N/A
Metadata	Armazena informações extras para identificar os vetores.	Key-value pairs	❌

{% endtab %} {% tab title="Embedding Model" %} Um modelo de embedding converte texto ou outros tipos de dados em vetores numéricos que representam seu significado semântico. Esses vetores permitem medir a similaridade entre conteúdos com base no significado, e não nas palavras exatas. Modelos de embedding são comumente usados para tarefas como semantic **search**, **clustering** e **Retrieval-Augmented Generation (RAG)**, permitindo comparação e recuperação eficientes de informações contextualmente relevantes.

Parâmetro	Descrição	Tipo	Suporta DB	Padrão
Embedding Provider	O fornecedor do modelo de embedding a ser utilizado. Opções: Local (all-MiniLM-L6-v2), OpenAI, Google Vertex AI e Hugging Face.	String	❌	Local (all-MiniLM-L6-v2)

#### **Local (all-MiniLM-L6-v2)** Não há parâmetros configuráveis para este fornecedor. Entretanto, o conector ainda utiliza uma **Vector Dimension** interna, que define a dimensão dos vetores de embedding. Essa dimensão deve **corresponder exatamente** ao tamanho do vetor do modelo. Se a tabela não existir, o auto-create utilizará esta dimensão; tabelas com dimensões divergentes causarão erros. Para este fornecedor, a **dimensão padrão é 384**. #### **OpenAI**

Parâmetro	Descrição	Tipo	Suporta DB	Padrão
Embedding Model Name	Define o nome do modelo de embedding a ser usado, como `text-embedding-3-large`.	String	✅	N/A
Embedding Account	Especifica a conta configurada com credenciais OpenAI. Tipo suportado: Secret Key.	Select	❌	N/A
Vector Dimension	Define a dimensão dos vetores de embedding. Deve corresponder exatamente ao tamanho do vetor do modelo. Se a tabela não existir, o auto-create usa esta dimensão; tabelas divergentes causam erros.	Integer	❌	N/A
Timeout	Define o tempo máximo (em segundos) para a operação antes de ser abortada. Por exemplo, `120` equivale a 2 minutos.	Integer	❌	`30`

#### **Google Vertex AI**

Parâmetro	Descrição	Tipo	Suporta DB	Padrão
Embedding Model Name	Define o nome do modelo de embedding a ser usado, como `textembedding-gecko@003`.	String	✅	N/A
Embedding Account	Especifica a conta configurada com credenciais do Google Cloud. Tipo suportado: Google Key.	Select	❌	N/A
Vector Dimension	Define a dimensão dos vetores de embedding. Deve corresponder exatamente ao tamanho do vetor do modelo. Se a tabela não existir, o auto-create usa esta dimensão; tabelas divergentes causam erros.	Integer	❌	N/A
Project ID	Define o ID do projeto do Google Cloud associado à conta.	String	✅	N/A
Location	Especifica a região onde o modelo Vertex AI está implantado, como `us-central1`.	String	✅	N/A
Endpoint	Define o endpoint do modelo de embedding, como `us-central1-aiplatform.googleapis.com:443`.	String	✅	N/A
Publisher	Especifica o publisher do modelo, geralmente `google`.	String	✅	N/A
Max Retries	Define o número máximo de tentativas em caso de falhas temporárias na API.	Integer	❌	3
Timeout	Define o tempo máximo (em segundos) para a operação antes de ser abortada.	Integer	❌	`30`

#### **Hugging Face**

Parâmetro	Descrição	Tipo	Suporta DB	Padrão
Embedding Model Name	Define o nome do modelo de embedding a ser usado, como `sentence-transformers/all-mpnet-base-v2`.	String	✅	N/A
Embedding Account	Especifica a conta configurada com credenciais Hugging Face. Tipo suportado: Secret Key.	Select	❌	N/A
Vector Dimension	Define a dimensão dos vetores de embedding. Deve corresponder exatamente ao tamanho do vetor do modelo. Se a tabela não existir, o auto-create usa esta dimensão; tabelas divergentes causam erros.	Integer	❌	N/A
Wait for Model	Determina se o sistema deve esperar o modelo carregar antes de gerar embeddings (`true`) ou retornar erro se o modelo não estiver pronto (`false`).	Boolean	❌	True

{% endtab %} {% tab title="Vector Store" %} Um vector store é um banco de dados especializado em armazenar e recuperar representações vetoriais de dados (embeddings). Ele permite buscas por similaridade comparando vetores numéricos em vez de textos exatos, proporcionando resultados mais relevantes e semânticos.

Parâmetro	Descrição	Tipo	Suporta DB	Padrão
Vector Store Provider	Define o fornecedor do banco de dados usado para armazenar e consultar embeddings. Opções: PostgreSQL (PGVector) e Neo4j.	Select	❌	N/A

#### **PostgreSQL (PGVector)**

Parâmetro	Descrição	Tipo	Suporta DB	Padrão
Host	Define o hostname ou IP do servidor PostgreSQL.	String	✅	N/A
Port	Define a porta usada para conectar ao servidor PostgreSQL.	Number	❌	`5432`
Database Name	Define o nome do banco de dados PostgreSQL que contém a tabela de vetores.	String	✅	N/A
Vector Store Account	Especifica a conta configurada com credenciais PostgreSQL.	Select	❌	N/A
Table Name	Define o nome da tabela onde os vetores são armazenados.	String	✅	N/A
Auto-Create Table	Cria automaticamente a tabela se não existir (somente PGVector).	Boolean	❌	True
Clear Table Before Ingest	Remove todos os registros existentes antes de ingerir novos dados (somente PGVector).	Boolean	❌	False
Auto-Create Index	Cria automaticamente o índice vetorial se não existir.	Boolean	❌	True

#### **Neo4j**

Parâmetro	Descrição	Tipo	Suporta DB	Padrão
Database Name	Define o nome do banco de dados Neo4j onde o índice vetorial é armazenado.	String	✅	N/A
Vector Store Account	Especifica a conta configurada com credenciais Neo4j.	Select	❌	N/A
Index Name	Define o nome do índice usado para armazenar e consultar vetores.	String	✅	N/A
URI	Define o URI de conexão com a instância Neo4j.	String	✅	N/A
Node Label	Define o label atribuído aos nodes que contêm dados de embedding.	String	✅	N/A
Embedding Property	Define a propriedade do node usada para armazenar o vetor de embedding.	String	✅	N/A
Text Property	Define a propriedade do node usada para armazenar o texto ou documento original.	String	✅	N/A

{% endtab %} {% tab title="Ingestion Process" %}

Parâmetro	Descrição	Tipo	Suporta DB	Padrão
Splitting Strategy	Define como os documentos são divididos em pedaços menores para geração de embeddings.	String	❌	Recursive Character Splitter (Recommended)
Max Segment Size	Número máximo de caracteres permitidos por pedaço. Valores maiores geram menos segmentos, porém mais longos.	Integer	❌	`500`
Segment Overlap	Número de caracteres compartilhados entre pedaços consecutivos para preservar o contexto.	Integer	❌	`50`

{% endtab %} {% tab title="Documentation" %}

Parâmetro	Descrição	Tipo	Suporta DB	Padrão
Documentation	Campo opcional para descrever a configuração do conector e quaisquer regras de negócio relevantes.	String	❌	N/A

{% endtab %} {% endtabs %}