Tradução de apoio para consulta. Código e identificadores técnicos preservados. Consultar referência original ↗

Referência de hiperparâmetros

Referência para todos os hiperparâmetros de ajuste fino disponíveis no modo Expert em QwenCloud.

Os hiperparâmetros controlam como o modelo aprende durante o ajuste fino. No modo Simples, QwenCloud aplica padrões otimizados. No modo Expert, você pode personalizar todos os parâmetros no console ou via API.

Tabela de hiperparâmetros

Parâmetro	Padrão	Alcance	Descrição
`batch_size`	16	8-1024	Número de exemplos de treinamento processados em cada etapa. Valores maiores melhoram a estabilidade, mas requerem mais memória.
`learning_rate`	0,0001	> 0	Controla a magnitude das atualizações de peso. Muito alto causa instabilidade; muito baixo retarda a convergência.
`n_epochs`	3	1 - 200	Número de passagens completas pelo conjunto de dados de treinamento. Mais épocas aumentam o tempo e o custo do treinamento.
`eval_steps`	50	1-2147483647	Número de etapas de treinamento entre avaliações de validação. Valores mais baixos fornecem métricas mais frequentes, mas treinamento lento.
`lr_scheduler_type`	Linear	Linear, cosseno, quadrado inverso	Estratégia para ajustar a taxa de aprendizagem durante o treinamento.
`max_length`	32768	500 - 32768	Comprimento máximo do token para um único exemplo de treinamento. Exemplos que excedem esse comprimento são descartados.
`warmup_ratio`	0,1	0 - 1	Proporção do total de etapas de treinamento usadas para aquecimento da taxa de aprendizagem. O aquecimento ajuda a estabilizar o treinamento inicial.
`weight_decay`	0,01	0 - 0,2	Força de regularização L2. Ajuda a prevenir overfitting e mantém a generalização.
`lora_rank`	64	8, 16, 32, 64, 128	Classificação das matrizes do adaptador LoRA. Valores mais altos aumentam a capacidade, mas também calculam o custo.
`lora_alpha`	16	8, 16, 32, 64	Fator de escala para atualizações LoRA. Controla a influência do adaptador em relação ao modelo base.
`lora_dropout`	0,05	0 - 0,2	Taxa de abandono aplicada às camadas LoRA. Ajuda a evitar ajustes excessivos nos pesos do adaptador.

Parâmetros específicos do LoRA

Os parâmetros lora_rank, lora_alphae lora_dropout são específicos para o método de treinamento LoRA usado por todos os trabalhos de ajuste fino.

Dicas para ajuste

Comece com os padrões. Os valores padrão funcionam bem para a maioria dos casos de uso. Ajuste os parâmetros apenas se os resultados iniciais forem insatisfatórios.
Ajuste a taxa de aprendizagem com cuidado. Se a perda de treinamento não diminuir, tente aumentar a taxa de aprendizagem. Se a perda for instável ou aumentar, reduza-a.
Monitore as métricas de validação. Use a guia Métricas na página de detalhes do trabalho para observar o sobreajuste – quando a perda de validação aumenta enquanto a perda de treinamento continua a diminuir.
Aumentar épocas para conjuntos de dados pequenos. Com menos exemplos de treinamento, mais épocas dão ao modelo passes adicionais para aprender padrões.
Use o aquecimento para grandes taxas de aprendizagem. Configuração warmup_ratio para 0,05 - 0,1 ajuda a evitar a instabilidade inicial do treinamento.