Fronteiras de Responsabilidade — Olimpo, AI Gateway e LiteLLM Proxy

Esta seção define as responsabilidades da governança do CRP.AI. O Olimpo é o sistema corporativo que contém o módulo CRP.AI; AI Gateway é o papel arquitetural que executa o acesso técnico a modelos; LiteLLM Proxy é a implementação atual desse papel.

Regra Principal

O Olimpo e seu módulo CRP.AI são a fonte de verdade para política corporativa: contexto de times, permissões, modelos permitidos, parâmetros de consumo e auditoria administrativa. O módulo converte essa política em operações na API administrativa do AI Gateway.

O AI Gateway é a fonte de verdade para a execução nativa do gateway e seu estado operacional. Na implantação atual, o LiteLLM Proxy mantém provedores, credenciais, modelos técnicos, roteamento, virtual keys e dados de runtime.

Responsabilidade do Olimpo e do Módulo CRP.AI

O módulo CRP.AI usa os recursos corporativos do Olimpo para governar quem pode acessar o AI Gateway e sob quais parâmetros. Ele não atua como proxy de chamadas de modelo.

Olimpo e módulo CRP.AI são responsáveis por:

• gestão de times, membros e permissões no contexto corporativo;
• ativação ou desativação de acesso à IA;
• seleção de modelos permitidos entre os modelos já registrados no AI Gateway;
• definição de parâmetros corporativos de orçamento e limites de uso;
• autorização, solicitação e auditoria do ciclo de vida de virtual keys;
• visão administrativa e de autoatendimento sobre acesso e consumo;
• auditoria das ações administrativas realizadas no contexto do CRP.AI.

Responsabilidade do AI Gateway

O AI Gateway executa a operação técnica do acesso a modelos. Essas responsabilidades dependem de sua implementação; no ambiente atual, elas são executadas pelo LiteLLM Proxy.

O AI Gateway é responsável por:

• cadastro de provedores e manutenção de suas credenciais;
• registro técnico de modelos, associação a provedores e roteamento;
• geração, armazenamento, validação, bloqueio e regeneração de virtual keys;
• persistência e aplicação de budgets e rate limits em runtime;
• spend logs, métricas e dados operacionais brutos;
• diagnóstico de falhas de runtime e disponibilidade operacional do gateway.

Operações por Necessidade

Necessidade	Autoridade de governança	Execução técnica	Implementação atual
Criar, ativar ou desativar acesso de um time	Olimpo e módulo CRP.AI	Mantém o estado operacional de acesso	LiteLLM Proxy
Gerenciar membros de um time no contexto do CRP.AI	Olimpo e módulo CRP.AI	Mantém a associação técnica necessária	LiteLLM Proxy
Definir modelos permitidos para um time	Olimpo e módulo CRP.AI	Mantém os modelos registrados e o roteamento	LiteLLM Proxy
Registrar modelo, provedor ou credencial de provedor	Não se aplica	Configura o gateway e o provedor	LiteLLM Proxy
Gerar, bloquear ou regenerar virtual key	Olimpo e módulo CRP.AI autorizam e solicitam a operação	Gera, armazena, valida, bloqueia e regenera a credencial	LiteLLM Proxy
Definir budget e rate limits	Olimpo e módulo CRP.AI definem a política	Persiste e aplica limites em runtime	LiteLLM Proxy
Consultar consumo administrativo	Olimpo e módulo CRP.AI apresentam contexto filtrado	Mantém dados operacionais brutos	LiteLLM Proxy
Diagnosticar falha de chamada de modelo	Registra o impacto administrativo quando aplicável	Diagnostica gateway, roteamento ou provedor	LiteLLM Proxy
Auditar alteração de acesso, budget ou chave	Olimpo e módulo CRP.AI	Não se aplica	Olimpo

Administração Direta do LiteLLM Proxy

Operadores do gateway podem usar recursos nativos do LiteLLM Proxy para configuração de provedores, credenciais, modelos registrados, roteamento, recuperação técnica e diagnóstico. Alterações de governança corporativa — como acesso, membros, modelos permitidos, budgets e ciclo de vida de chaves de usuários — devem ser administradas pelo módulo CRP.AI no Olimpo.

Fluxos e Falhas de Integração

No fluxo administrativo, o Olimpo persiste o contexto corporativo e solicita a operação correspondente ao AI Gateway. Uma alteração pode estar registrada no Olimpo antes de a operação no gateway ser concluída. Falhas de integração exigem nova tentativa ou reconciliação; elas não inserem o Olimpo no fluxo de inferência.

No fluxo de consumo, a ferramenta do colaborador comunica-se diretamente com o AI Gateway. Na implantação atual, esse endpoint é disponibilizado pelo LiteLLM Proxy.

Relação entre os Sistemas

Olimpo não substitui o AI Gateway: ele governa a integração a partir do contexto corporativo. O AI Gateway não substitui o Olimpo: ele executa o acesso técnico e mantém o estado de runtime. A abstração do Olimpo concentra o acoplamento à API administrativa do gateway em uma integração específica. Ela reduz o impacto de uma troca futura de gateway sobre a lógica de governança, mas não transforma o Olimpo em proxy de inferência nem elimina a dependência dos consumidores do endpoint exposto pelo AI Gateway.