QwenCloudBRASIL
Início›Biblioteca›Documentação
Tradução de apoio para consulta. Código e identificadores técnicos preservados. Consultar referência original ↗

Otimização de latência

Tempos de resposta mais rápidos através de texto, imagem, vídeo e modelos de fala em QwenCloud

A latência vem de diferentes fontes, dependendo da modalidade: para geração de texto, é impulsionada pela contagem de símbolos e tamanho do modelo; para geração de imagens e vídeos, por renderização de tempo e profundidade da fila de tarefas; e para fala, por tempo de inicialização de síntese e tamanho do buffer de streaming. Este guia cobre estratégias de otimização para cada modalidade, e depois mergulha mais fundo em QwenCloud recursos como cache de contexto e streaming que fornecem os ganhos mais imediatos para cargas de trabalho de texto.

Geração de texto: sete áreas para otimizar

1. Escolha o modelo certo.

O tamanho do modelo é o principal condutor da velocidade de inferência. Um modelo menor responde mais rápido e custa menos por token.

Use o caso. Modelo recomendado. Por quê?
Raciocínio complexo, geração sem fim. qwen3.8-max Qualidade mais alta, mais devagar.
Tarefas gerais, velocidade/qualidade equilibradas. qwen3.7-plus Boa troca.
Tarefas de alto desempenho, raciocínio rápido. qwen3.8-flash Última flash, rápido com forte qualidade.
Classificação, extração, síntese qwen3.5-flash Rápido, econômico.

Quando se mudar para um modelo menor, compense com mais detalhes ou exemplos de poucos tiros para manter a qualidade. Um bem-prompedado qwen3.5-flash pode combinar com um prompted frouxamente qwen3.8-max para muitas tarefas de produção.

- Dois. Reduzir o comprimento de saída.

A geração de saída é a fase mais lenta de uma chamada LLM, metade das fichas de saída, aproximadamente metade da latência total. Estratégias:

3. Aparar fichas de entrada

Os tokens de entrada têm um impacto menor na latência do que os tokens de saída (aproximadamente 1-5% de melhoria por redução de 50%), mas eles importam em escala:

- Quatro. Consolide os pedidos.

Cada chamada da API adiciona tempo de ida e volta. Se seu fluxo de trabalho der múltiplos passos LLM sequencialmente, considere fundi-los:

- Cinco. Correr passos em paralelo

Quando seu oleoduto tiver ramos independentes, execute-os simultaneamente. Por exemplo, se precisar de um resumo e uma tradução, demita ambos os pedidos ao mesmo tempo, em vez de esperar que um termine.

Para passos sequenciais onde um ramo é altamente previsível (como moderação de conteúdo que passa 95% do tempo), considere ** execução especulativa**: comece o próximo passo antes que o cheque termine, e descarte o resultado apenas se o cheque falhar.

Seis. Melhorar a velocidade percebida.

Mesmo quando a latência real permanece a mesma, a velocidade percebida faz uma diferença real para os usuários:

O streaming e o blocing reduzem o tempo antes do usuário começar a ler, o que encurta a experiência de ponta a ponta. Indicadores de progresso são puramente psicológicos, mas igualmente importantes para a satisfação do usuário.

- 7? - 7? Pule o LLM quando puder.

Nem toda parte de uma aplicação de IA precisa de uma chamada modelo:

Imagem e geração de vídeo

APIs de imagem e vídeo usam filas de tarefas assíncronas, então a otimização da latência foca em reduzir o tempo de renderização e pesquisas eficientes.

Geração de imagens

Áudio e discurso

** Texto para falar (TTS) **

Reconhecimento automático de fala (ASS)

Cache de contexto

O cache de contexto é... QwenCloudA característica de otimização de latência mais direta para modelos de texto e visão. Quando pedidos consecutivos compartilham um prefixo comum, o servidor reutiliza computação em cache em vez de reprocessar esses tokens, reduzindo o tempo para o primeiro token (TTFT) significativamente. Geração de imagens, geração de vídeo e APIs de fala usam diferentes modelos de preços e não têm um mecanismo de cache equivalente.

Como funciona

O cálculo do modelo segue da esquerda para a direita através de seu prompt. Se os primeiros N tokens de um novo pedido corresponderem a um prefixo em cache, esses N tokens são servidos do cache - apenas os restantes tokens requerem novos cálculos.

Isto significa prompt estrutura importa: coloque conteúdo estável (instruções do sistema, documentos de referência, exemplos de poucos tiros) no início, e conteúdo variável (mensagens de usuário, resultados dinâmicos de RAG) no final.

Três modos.

Modo Configuração Validade do cache - Custo de batida.
Explicidade Adicionarcache_control Marcadores para conteúdo da mensagem 5 minutos (retomando o sucesso) 10% do preço de entrada.
Implícito. Nenhum, ativo por padrão. Não garantido. 20% do preço de entrada.
Sessão Adicione cabeçalho HTTP, use API Responses 5 minutos (retomando o sucesso) 10% do preço de entrada.

Cache implícito requer zero mudanças de código e beneficia cada aplicação automaticamente. Use cache explícito quando precisar de acessos garantidos e preços mais baixos para o conteúdo que você controla. Use cache de sessão para chatbots multi-turnos construídos na API Responses.

Exemplo de cache explícito

Marque o conteúdo, você. want - Com o que? cache_control. O comprimento mínimo de cache é de 1024 fichas.

Python

```python
from openai import OpenAI
import os

client = OpenAI(
  api_key=os.getenv("DASHSCOPE_API_KEY"),
  base_url="https://maas.qwencloudapi.com/compatible-mode/v1",
)

completion = client.chat.completions.create(
  model="qwen3.7-max",
  messages=[
    {
      "role": "system",
      "content": [
        {
          "type": "text",
          "text": "You are a helpful assistant specialized in answering questions about our product documentation. Here is the full reference manual:\n\n[... long reference document ...]",
          "cache_control": {"type": "ephemeral"}
        }
      ]
    },
    {
      "role": "user",
      "content": "How do I configure SSO?"
    }
  ]
)

print(completion.usage)
# Check completion.usage.prompt_tokens_details.cached_tokens for cache hits
```

Node.js

```javascript
import OpenAI from "openai";

const openai = new OpenAI({
  apiKey: process.env.DASHSCOPE_API_KEY,
  baseURL: "https://maas.qwencloudapi.com/compatible-mode/v1"
});

const completion = await openai.chat.completions.create({
  model: "qwen3.7-max",
  messages: [
    {
      role: "system",
      content: [
        {
          type: "text",
          text: "You are a helpful assistant specialized in answering questions about our product documentation. Here is the full reference manual:\n\n[... long reference document ...]",
          cache_control: { type: "ephemeral" }
        }
      ]
    },
    {
      role: "user",
      content: "How do I configure SSO?"
    }
  ]
});

console.log(completion.usage);
// Check completion.usage.prompt_tokens_details.cached_tokens for cache hits
```

curl

```bash
curl -X POST https://maas.qwencloudapi.com/compatible-mode/v1/chat/completions \
  -H "Authorization: Bearer $DASHSCOPE_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen3.7-max",
    "messages": [
      {
        "role": "system",
        "content": [
          {
            "type": "text",
            "text": "You are a helpful assistant specialized in answering questions about our product documentation. Here is the full reference manual:\n\n[... long reference document ...]",
            "cache_control": {"type": "ephemeral"}
          }
        ]
      },
      {
        "role": "user",
        "content": "How do I configure SSO?"
      }
    ]
  }'
```

Em um golpe de cache, a resposta inclui cached_tokens no objeto de uso:

{
  "usage": {
    "prompt_tokens": 1520,
    "completion_tokens": 85,
    "total_tokens": 1605,
    "prompt_tokens_details": {
      "cached_tokens": 1480,
      "cache_creation_input_tokens": 0
    }
  }
}

Dicas para maximizar o cache.

Para o guia completo, incluindo a configuração de cache de sessão, modelos suportados e padrões avançados, veja Cache de contexto.

Juntando tudo

A maioria das aplicações reais se beneficiam de combinar várias dessas estratégias. Aqui está um quadro de decisão para um típico chatbot baseado em RAG:

Cambota # # Sintomas # # Ações recomendadas

Garrafa Sintomas Ações recomendadas
Lento primeiro sinal TTFT alto, usuário espera antes de ver qualquer saída Activar streaming; usar cache de contexto para o prompt do sistema; mudar para um modelo mais rápido para a etapa de recuperação/roteamento
Geração de longa saída. Os tons estão indo devagar, o tempo total de resposta está alto. Reduza o comprimento de saída com instruções explícitas; use um modelo mais rápido se a qualidade permitir
Muitas chamadas sequenciais de LLM Oleoduto multi-passo com latência de ponta a ponta Mesclar passos em um único prompt; paralelizar passos independentes
Grande tamanho imediato. A latência cresce com o comprimento do documento/história Resultados de Prune RAG, resumo histórico, usar cache de contexto para evitar re-computação

Não-texto modalidade de referência rápida

Modalidade Motorizador de latência primária Otimização de topo
Geração de imagens Tempo de entrega + espera na fila Baixa resolução, desativar a reescrita rápida, a votação exponencial.
Geração de vídeo Tempo de entrega (proporcional à duração e resolução) Duração curta + baixa resolução para iteração; modo de tiro único
TTS Sintese startup + transferência de dados Saída de fluxo, modelo flash, formato comprimido (mp3/opus)
ASR Tamanho do carregamento + tempo de processamento Endpoint WebSocket para em tempo real; Entrada de URL para arquivos grandes; comprimir áudio

Próximos passos