Esta seção define as responsabilidades da governança do CRP.AI. O Olimpo é o sistema corporativo que contém o módulo CRP.AI; AI Gateway é o papel arquitetural que executa o acesso técnico a modelos; LiteLLM Proxy é a implementação atual desse papel.
Regra Principal
O Olimpo e seu módulo CRP.AI são a fonte de verdade para política corporativa: contexto de times, permissões, modelos permitidos, parâmetros de consumo e auditoria administrativa. O módulo converte essa política em operações na API administrativa do AI Gateway.
O AI Gateway é a fonte de verdade para a execução nativa do gateway e seu estado operacional. Na implantação atual, o LiteLLM Proxy mantém provedores, credenciais, modelos técnicos, roteamento, virtual keys e dados de runtime.
Responsabilidade do Olimpo e do Módulo CRP.AI
O módulo CRP.AI usa os recursos corporativos do Olimpo para governar quem pode acessar o AI Gateway e sob quais parâmetros. Ele não atua como proxy de chamadas de modelo.
Olimpo e módulo CRP.AI são responsáveis por:
- gestão de times, membros e permissões no contexto corporativo;
- ativação ou desativação de acesso à IA;
- seleção de modelos permitidos entre os modelos já registrados no AI Gateway;
- definição de parâmetros corporativos de orçamento e limites de uso;
- autorização, solicitação e auditoria do ciclo de vida de virtual keys;
- visão administrativa e de autoatendimento sobre acesso e consumo;
- auditoria das ações administrativas realizadas no contexto do CRP.AI.
Responsabilidade do AI Gateway
O AI Gateway executa a operação técnica do acesso a modelos. Essas responsabilidades dependem de sua implementação; no ambiente atual, elas são executadas pelo LiteLLM Proxy.
O AI Gateway é responsável por:
- cadastro de provedores e manutenção de suas credenciais;
- registro técnico de modelos, associação a provedores e roteamento;
- geração, armazenamento, validação, bloqueio e regeneração de virtual keys;
- persistência e aplicação de budgets e rate limits em runtime;
- spend logs, métricas e dados operacionais brutos;
- diagnóstico de falhas de runtime e disponibilidade operacional do gateway.
Operações por Necessidade
| Necessidade | Autoridade de governança | Execução técnica | Implementação atual |
|---|---|---|---|
| Criar, ativar ou desativar acesso de um time | Olimpo e módulo CRP.AI | Mantém o estado operacional de acesso | LiteLLM Proxy |
| Gerenciar membros de um time no contexto do CRP.AI | Olimpo e módulo CRP.AI | Mantém a associação técnica necessária | LiteLLM Proxy |
| Definir modelos permitidos para um time | Olimpo e módulo CRP.AI | Mantém os modelos registrados e o roteamento | LiteLLM Proxy |
| Registrar modelo, provedor ou credencial de provedor | Não se aplica | Configura o gateway e o provedor | LiteLLM Proxy |
| Gerar, bloquear ou regenerar virtual key | Olimpo e módulo CRP.AI autorizam e solicitam a operação | Gera, armazena, valida, bloqueia e regenera a credencial | LiteLLM Proxy |
| Definir budget e rate limits | Olimpo e módulo CRP.AI definem a política | Persiste e aplica limites em runtime | LiteLLM Proxy |
| Consultar consumo administrativo | Olimpo e módulo CRP.AI apresentam contexto filtrado | Mantém dados operacionais brutos | LiteLLM Proxy |
| Diagnosticar falha de chamada de modelo | Registra o impacto administrativo quando aplicável | Diagnostica gateway, roteamento ou provedor | LiteLLM Proxy |
| Auditar alteração de acesso, budget ou chave | Olimpo e módulo CRP.AI | Não se aplica | Olimpo |
Administração Direta do LiteLLM Proxy
Operadores do gateway podem usar recursos nativos do LiteLLM Proxy para configuração de provedores, credenciais, modelos registrados, roteamento, recuperação técnica e diagnóstico. Alterações de governança corporativa — como acesso, membros, modelos permitidos, budgets e ciclo de vida de chaves de usuários — devem ser administradas pelo módulo CRP.AI no Olimpo.
Fluxos e Falhas de Integração
No fluxo administrativo, o Olimpo persiste o contexto corporativo e solicita a operação correspondente ao AI Gateway. Uma alteração pode estar registrada no Olimpo antes de a operação no gateway ser concluída. Falhas de integração exigem nova tentativa ou reconciliação; elas não inserem o Olimpo no fluxo de inferência.
No fluxo de consumo, a ferramenta do colaborador comunica-se diretamente com o AI Gateway. Na implantação atual, esse endpoint é disponibilizado pelo LiteLLM Proxy.
Relação entre os Sistemas
Olimpo não substitui o AI Gateway: ele governa a integração a partir do contexto corporativo. O AI Gateway não substitui o Olimpo: ele executa o acesso técnico e mantém o estado de runtime. A abstração do Olimpo concentra o acoplamento à API administrativa do gateway em uma integração específica. Ela reduz o impacto de uma troca futura de gateway sobre a lógica de governança, mas não transforma o Olimpo em proxy de inferência nem elimina a dependência dos consumidores do endpoint exposto pelo AI Gateway.