BRASILTradução de apoio para consulta. Código e identificadores técnicos preservados. Consultar referência original ↗
Tarefas de avaliação
Crie tarefas de avaliação em QwenCloud para quantificar a qualidade de saída do modelo usando dimensões e conjuntos de dados personalizados.
As tarefas de avaliação aplicam dimensões de avaliação a dados e modelos específicos, produzindo resultados quantificados. Você pode criar e gerenciar tarefas na página Tarefas de Avaliação página do console.
Crie uma tarefa de avaliação
Abra a página de criação.
Na página da lista de tarefas de avaliação, clique em **Criar**. O sistema gera automaticamente um nome de tarefa (formato: `eval_YYYYMMDD_HHMMSS`), que você pode modificar.
Selecione a fonte de dados
Escolha um tipo de fonte de dados no menu suspenso. As duas fontes diferem no ponto de entrada de upload e na configuração subsequente:
| Fonte de dados | Carregar entrada | Descrição | Formato de dados (JSONL) | Casos de uso |
|---|---|---|---|---|
| Conjunto de dados de avaliação | Crie e publique em Conjuntos de dados página | O sistema executa inferência com o modelo de avaliação e, em seguida, pontua com dimensões de avaliação | Prompt (pergunta) + Conclusão (resposta de referência) | Avaliação inicial, comparando vários modelos |
| Resultados de inferência | Carregar na Avaliação página | Pontua diretamente com dimensões de avaliação, ignorando inferência | Prompt + Saída (saída do modelo), Conclusão (resposta de referência) opcional | Já possui resultados de inferência, reduzindo o custo de inferência |
Selecione os dados e configure
As opções de configuração mostradas variam de acordo com a fonte de dados:
- **Conjunto de dados de avaliação**: escolha um conjunto de dados de avaliação publicado no menu suspenso e selecione o **modelo de avaliação** para executar a inferência no conjunto de dados. Clique em **Gerenciar conjuntos de dados** para criar ou publicar um conjunto de dados.
- **Resultados de inferência**: carregue ou selecione resultados de inferência existentes. **Nenhum modelo de avaliação é necessário** (os resultados já contêm a saída do modelo) — prossiga diretamente para a seleção das dimensões de avaliação.
Volume de dados recomendado: 50-100 amostras para validação inicial, 200-500 para resultados estatísticos confiáveis e mais de 500 para avaliação abrangente cobrindo casos extremos.
Selecione as dimensões de avaliação.
Escolha uma ou mais dimensões de avaliação. Clique em **Gerenciar dimensões** para acessar a página de gerenciamento de dimensões.
Review billing details
Expanda **Detalhes de cobrança** para visualizar os custos estimados. O processo de pontuação é gratuito; a inferência é cobrada com base em taxas de token padrão.
Submit the task
Clique em **Criar** para enviar a tarefa de avaliação.
Gerenciar tarefas de avaliação
A lista de tarefas de avaliação exibe as seguintes informações:
| Coluna | Descrição |
|---|---|
| Nome da tarefa | Nome da tarefa de avaliação |
| Pontuação | Pontuações por dimensão de avaliação (numérica para tipo numérico, taxa de aprovação para classificação) |
| Estado | Status de execução da tarefa |
| Modelo de avaliação | O modelo utilizado para inferência |
| Conjunto de dados | O conjunto de dados de avaliação associado |
| Dimensões | Dimensões de avaliação utilizadas |
| Fichas | Consumo de token durante a inferência |
| Ações | Ver detalhes, excluir, etc. |
Ver resultados da avaliação
Clique em Detalhes na coluna de ações para abrir a página de resultados, que tem duas guias:
- Métricas — Desempenho agregado por dimensão de avaliação. As dimensões numéricas mostram pontuação média, distribuição de pontuação e taxa de aprovação; as dimensões de classificação mostram as proporções do rótulo e a taxa geral de aprovação. Útil para comparar rapidamente pontuações entre dimensões.
- Detalhes dos dados — Detalhamento da pontuação por amostra, incluindo o prompt de entrada, saída do modelo (carregado
outputpara resultados de inferência, resultado de inferência on-line para conjuntos de dados de avaliação), resposta de referência e pontuação de cada dimensão junto com o raciocínio do modelo de juiz. Filtre por dimensão ou por aprovação/reprovação para localizar amostras em que o modelo teve desempenho inferior.
##Próximas etapas
- Dimensões de avaliação – Crie critérios de pontuação personalizados.
- Criar um conjunto de dados - Prepare um conjunto de dados de avaliação.