BRASILMLOps e observabilidade
Monitoramento de IA de produção
Visão geral
O Análise fornece observabilidade para implantações de modelo, incluindo consumo de token, contagens de solicitações, latência, taxas de sucesso e métricas de desempenho por modelo.
Análise
Vá para Análise para visualizar o uso e a análise do seu espaço de trabalho.
Filtros
- Intervalo de tempo: Selecione a janela de tempo (como 7 dias).
- Modelos: Filtre por modelo específico ou visualize todos os modelos.
- Chaves de API: filtre o uso por uma chave de API específica.
- Granularidade: Escolha o intervalo de agregação (Por dia ou Por hora).
Guias
- Uso: exibe gráficos de tendências de uso e métricas por modelo.
- Logs: visualize registros de solicitações detalhados com filtragem por origem, status e muito mais.
Métricas
A página mostra as seguintes métricas de uso:
| Métrica | Descrição |
|---|---|
| Tokens | Consumo total de tokens |
| Contagem | Número total de solicitações de API |
| Segundos | Utilização para modelos faturados por duração (áudio/vídeo) |
| Personagens | Uso para modelos cobrados por contagem de caracteres |
| Chamadas de API | Contagem total de chamadas de API |
Abaixo das métricas de uso, os gráficos de tendências mostram solicitações, TTFT médio (tempo até o primeiro token), latência média e taxa de sucesso ao longo do tempo.
O custo inclui todo o consumo em toda a plataforma. Consulte os dados de cobrança para obter detalhes.
Unidades de uso por tipo de modelo
| Tipo | Subcategoria | Unidade | Base de faturamento |
|---|---|---|---|
| Modelo de linguagem grande | Geração de texto, pensamento profundo, compreensão da visão | Ficha | Faturado por contagem de tokens de entrada e saída |
| Modelo de visão | Geração de imagens | Imagem (contagem) | Faturado por imagens geradas com sucesso |
| Modelo de visão | Geração de vídeo | Segundos | Faturado pela duração do vídeo gerado com sucesso |
| Modelo de fala | TTS, TTS em tempo real, ASR de arquivo, ASR em tempo real, Tradução de áudio/vídeo | Segundos, caracteres ou tokens | Varia de acordo com o modelo – pode ser cobrado por duração do áudio, caracteres de texto ou contagem de tokens |
| Modelo omnimodal | Omnimodal, multimodal em tempo real | Ficha | Texto faturado por tokens; outras modalidades (áudio, imagem, vídeo) faturadas pela contagem de tokens correspondente |
Métricas por modelo
Abaixo dos gráficos de uso, uma tabela por modelo detalha a taxa de transferência (TPM/RPM), volume de chamadas, taxa de sucesso, tempo até o primeiro token e latência para cada modelo. Use isso para identificar modelos de baixo desempenho ou picos de erros inesperados.
Solicitar registros
Vá para Registros para inspecionar solicitações de API individuais. Os registros são retidos pelos últimos 14 dias.
Filtros
- Intervalo de tempo: restrinja a janela de registro a um período específico.
- Modelo: Filtre por um modelo específico.
- Chaves de API: filtre por uma chave de API específica.
- Fontes: faça a distinção entre chamadas de API e chamadas baseadas na Web (como a página Try AI) para identificar fontes de tráfego.
- Status: Filtre por código de status HTTP (como 200, 400, 429).
- ID da solicitação: pesquise uma solicitação específica pelo seu ID.
Tabela de registros
Cada linha mostra:
| Coluna | Descrição |
|---|---|
| ID da solicitação | Identificador único do pedido |
| Carimbo de data e hora | Quando o pedido foi feito |
| Modelo | Modelo utilizado para a solicitação |
| Fonte | Chamada de API ou chamada baseada na web |
| Chave de API | A chave API usada para a solicitação |
| Uso | Repartição de tokens (total, entrada, saída) |
| TTFT | Hora do primeiro token |
| Latência | Tempo total de resposta |
| Status | Código de status HTTP |
Solicitar detalhes
Clique em Detalhes para abrir um painel lateral com o detalhamento completo da solicitação. Você pode visualizar os dados no formato Lista ou JSON.
Clique em Exportar para baixar os logs como um arquivo para análise offline.
Alertas
Configure regras de alerta personalizadas para monitorar métricas de chamadas de API e receber notificações em tempo real quando ocorrerem anomalias. Para obter detalhes, consulte Alertas de monitoramento.