Tema
8. Observabilidade e Monitoramento
A observabilidade do CRP.AI reúne métricas de infraestrutura, auditoria de ações administrativas e acompanhamento de custos. O tracing de chamadas é uma integração cuja topologia, retenção e controles de acesso ainda precisam de confirmação.
8.1 Tracing de Chamadas
Quando configurado, o AI Gateway pode emitir tracing das chamadas a modelos. O conteúdo coletado — por exemplo, metadados de custo, tokens, latência, prompts ou respostas — depende da configuração aprovada para a integração.
Antes de usar tracing para investigação ou auditoria, devem ser definidos o local de implantação, a retenção, os perfis autorizados e o tratamento de dados potencialmente sensíveis. Até essa definição, o tracing não deve ser descrito como controle de auditoria ou como registro completo de solicitações.
Depois de definido, o tracing pode apoiar depuração, análise de latência e investigação de consumo. Os dados usados para cada finalidade devem respeitar a política de acesso e retenção aplicável.
8.2 Métricas
O AI Gateway e o Olimpo API expõem métricas operacionais que alimentam dashboards de monitoramento. As principais métricas incluem:
- Volume de requisições processadas, segmentado por modelo e status
- Latência das requisições, com capacidade de cálculo de percentis
- Total de tokens consumidos (entrada e saída)
- Gasto monetário acumulado por chave, time e modelo
- Taxa de erros segmentada por tipo (falha de provedor, rate limit, orçamento, autenticação)
- Orçamento restante por chave virtual e por time
Estas métricas permitem configurar alertas para cenários como latência acima do limiar, taxa de erros elevada ou aproximação do limite orçamentário. O Olimpo API também expõe métricas de aplicação (requisições HTTP, uso de recursos) para monitoramento da saúde da plataforma.
8.3 Auditoria
O Olimpo mantém registros de auditoria para ações administrativas relevantes.
Os registros devem permitir identificar a entidade afetada, a operação, o autor e o momento da alteração. A estrutura exata, a retenção e a forma de consulta precisam ser validadas com a implementação do Olimpo.
Ações auditadas no contexto do CRP.AI: criação e alteração de times, ativação e desativação de acesso IA, geração, regeneração e invalidação de chaves, alterações de configuração de modelos e budgets, e modificações de permissões.
8.4 Acompanhamento de Custos
O AI Gateway registra cada chamada com o colaborador, time, modelo, tokens consumidos e custo calculado. Os dashboards de consumo agregado, relatórios por time e análises gerenciais são oferecidos diretamente pela interface do AI Gateway.
O Olimpo complementa com uma consulta individual para o colaborador ("Minha Chave"), onde é possível visualizar seu consumo próprio, orçamento restante e data de reset — sem acessar os dashboards do gateway.
8.5 Alertas
O CRP.AI prevê mecanismos de alerta nos seguintes cenários:
Orçamento excedido: quando uma virtual key atinge o limite configurado, o AI Gateway bloqueia automaticamente a chave antes que a requisição chegue ao provedor. A chave permanece bloqueada até o reset do período. O Olimpo Frontend exibe indicadores visuais de progresso (verde, amarelo, vermelho) e destaca times próximos do limite.
Chave bloqueada: chaves podem ser bloqueadas manualmente por administradores ou automaticamente por estouro de orçamento. O AI Gateway rejeita requisições de chaves bloqueadas, e o status é refletido no Olimpo Frontend com indicação do motivo.
Falhas de autenticação: tentativas com credenciais inválidas, expiradas ou bloqueadas — tanto no Olimpo (JWT Keycloak) quanto no AI Gateway (virtual keys) — são registradas e visíveis no monitoramento, permitindo detecção de tentativas de acesso não autorizado.