Visão geral da implantação

Implantar modelos personalizados em QwenCloud para criar serviços de inferência dedicados para cargas de trabalho de produção.

QwenCloud implantações fornecem serviços de inferência dedicados para seus modelos personalizados ajustados. Padrão Qwen modelos podem ser chamados diretamente por meio da API de conclusão de bate-papo sem uma implantação. As implantações são necessárias apenas para modelos personalizados que você treinou.

Pré-requisitos

• A QwenCloud conta. Faça login no console.
• Um modelo personalizado publicado a partir de um trabalho de ajuste fino concluído. Consulte Publicar pontos de verificação e Modelos personalizados.

Crie uma implantação

Vá para a página Implantações e clique em Criar implantação para abrir o assistente.

1. Informações básicas

• Nome da implantação: insira um nome para identificar esta implantação.
• Selecionar modelo: escolha um modelo implantável no menu suspenso.
• Código do modelo: revise e, opcionalmente, personalize o sufixo do código do modelo usado para chamadas de API.

2. Configurar

• Método de cobrança: selecione a abordagem de cobrança (por exemplo, cobrança por tokens).

• Tipo de pagamento: selecione o tipo de pagamento (por exemplo, pagamento conforme o uso).

  O método de cobrança não pode ser alterado após a implantação. Para mudar, exclua a implantação e crie uma nova.

3. Revise e envie

Revise o detalhamento dos custos — método de cobrança, tipo de pagamento, rendimento e preço do token — e clique em Criar implantação para enviar.

A cobrança começa assim que a implantação atinge o status Ativo, mesmo que nenhuma solicitação de inferência tenha sido enviada.

Após a criação

Depois de enviada, a implantação entra no status Implantando. O provisionamento normalmente leva alguns minutos. Quando o status mudar para Ativo, a implantação estará pronta para receber solicitações de inferência.

Chamando modelos implantados

Use o código do modelo da implantação como o model parâmetro na API de conclusões de chat. Encontre o código do modelo na página Implantações abaixo do nome da implantação.

OpenAI-compatible (Python)

```python
import os
from openai import OpenAI

client = OpenAI(
  api_key=os.getenv("DASHSCOPE_API_KEY"),
  base_url="https://maas.qwencloudapi.com/compatible-mode/v1",
)

completion = client.chat.completions.create(
  model="your-deployment-model-code",  # Replace with your deployment model code
  messages=[
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "Explain quantum computing in simple terms."},
  ],
)
print(completion.choices[0].message.content)
```

curl

```bash
curl "https://maas.qwencloudapi.com/compatible-mode/v1/chat/completions" \
  -H "Authorization: Bearer $DASHSCOPE_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "your-deployment-model-code",
    "messages": [
      {"role": "system", "content": "You are a helpful assistant."},
      {"role": "user", "content": "Explain quantum computing in simple terms."}
    ]
  }'
```

##Próximas etapas

• Gerenciar implantações -- Monitore, interrompa e exclua suas implantações.