BRASILTradução de apoio para consulta. Código e identificadores técnicos preservados. Consultar referência original ↗
Visão geral da avaliação do modelo
Avalie o desempenho do modelo em múltiplas dimensões em QwenCloud, com pontuação baseada em LLM e anotação manual.
A avaliação do modelo quantifica a qualidade da saída do modelo em múltiplas dimensões. Você pode criar dimensões e tarefas de avaliação na página Avaliação do modelo página do console.
Conceitos básicos
A avaliação do modelo consiste em dois submódulos:
- Dimensões de avaliação — Definir os critérios de pontuação. Suporta pontuação baseada em LLM (numérica/classificação) e anotação manual.
- Tarefas de avaliação — Selecione dimensões + conjunto de dados + modelo para avaliar e, em seguida, visualize os resultados.
Fluxo de trabalho de avaliação
Define evaluation dimensions
Crie uma ou mais dimensões de avaliação, escolhendo o tipo de dimensão, o modelo de julgamento e o modelo de pontuação. Consulte [Dimensões de avaliação](/developer-guides/evaluation/evaluation-dimensions).
Prepare evaluation data
Crie e publique um **conjunto de dados de avaliação** em [Conjuntos de dados](/developer-guides/datasets/create-dataset).
Crie uma tarefa de avaliação.
Selecione a fonte de dados, o modelo de avaliação e as dimensões de avaliação e envie a tarefa. Consulte [Tarefas de avaliação](/developer-guides/evaluation/evaluation-tasks).
Veja os resultados.
Verifique pontuações, uso de token e detalhes de pontuação por amostra na lista de tarefas.
Faturamento
Os custos de avaliação do modelo consistem em duas partes:
| Tipo de custo | Faturado? | Descrição |
|---|---|---|
| Inferência do modelo avaliado | Sim | Ao usar um "conjunto de dados de avaliação" como fonte de dados, o sistema chama o modelo avaliado para executar a inferência, cobrada de acordo com taxas de token padrão. Nenhum custo de inferência ao usar "Resultados de inferência". |
| Pontuação do modelo de juiz | Grátis (tempo limitado) | O processo de pontuação do modelo de juiz para dimensões baseadas em LLM (numéricas e classificação) é atualmente gratuito por tempo limitado. |
##Próximas etapas
- Dimensões de avaliação – Aprenda sobre os três tipos de dimensão e crie critérios de pontuação personalizados.
- Tarefas de avaliação - Crie tarefas de avaliação e visualize os resultados.
- Criar um conjunto de dados - Prepare um conjunto de dados de avaliação.