Integrar modelos de geração multimodal

Integrar geração de imagem, geração de vídeo e modelos de síntese de fala com o Token Plan através de mecanismos de extensão de ferramentas

Visão geral

Ferramentas de codificação de IA não podem chamar de modelos de imagem, vídeo ou síntese de fala diretamente através da configuração do modelo. Integre-os através do mecanismo de extensão de cada ferramenta.

Defina a chave de API específica do plano. sk-sp-) como o $ANTHROPIC_AUTH_TOKEN Variável ambiente. Os exemplos abaixo usam esta variável para autenticação.

Exemplo: Claude Code

Este exemplo mostra como integrar um modelo de geração de imagens em Claude Code usando um comando Slash. O processo é similar para outras ferramentas, com diferenças no mecanismo de extensão e no caminho do arquivo de configuração.

Passo 1: Criar um Comando de Slash

Crie o arquivo. .claude/commands/text-to-image.md em seu diretório raiz do projeto com o seguinte conteúdo:

Call the Token Plan text-to-image API to generate an image based on a description.

User request: $ARGUMENTS

## Steps

1. Extract prompt (image description), model, and size (default: `1024*1024`) from the user request. If the user explicitly specifies a model (for example, `model=wan2.7-image` or `use wan2.7-image to draw`), use that model name exactly and do not fall back to the default; use `qwen-image-2.0` only when no model is specified. Common image generation models include `qwen-image-2.0`, `qwen-image-2.0-pro`, `wan2.7-image`, and `wan2.7-image-pro`; see the QwenCloud model list for the full set.

2. Call the API to generate an image (use the Bash tool to run curl):

```
-Sr.https://token-plan.maas.qwencloudapi.com/api/v1/services/aigc/multimodal-generation/generation" \
  -H "Autorização: portadora de ANTHROPIC_AUTH_TOKEN" \
  - H "Tipo de conteúdo: aplicação/json" \
  -d '{
    "modelo": "<model>",
    "Input": {
      "Mensagens": [{{"papel":"usuário","conteúdo": {"texto":"<prompt>"}]}]
    },
    "Pámetros": {"tamanho":"<size>"}
  }'
```

3. Extract the image URL from output.choices[*].message.content[*].image in the response JSON.

4. Download the image to the current directory with curl -s -o "generated_$(date +%Y%m%d_%H%M%S).png" "<URL>".

5. Display the generated image file path to the user.

Passo 2: Gerar uma imagem

No Claude Code, digite /text-to-image draw a cat. Para usar um modelo de geração de imagens diferente do padrão, inclua o nome do modelo no comando, por exemplo /text-to-image draw a cat using wan2.7-image.

Integrar modelos de geração de vídeo

Modelos de geração de vídeo também usam mecanismos de extensão de ferramentas. A diferença chave da geração de imagens é que a geração de vídeo usa um padrão de tarefa assíncrono: enviar uma tarefa, fazer uma pesquisa para o resultado, e depois baixar o arquivo de vídeo.

Modelos de geração de vídeo suportados

• Modelo * Função * Descrição * | ------------------ | ------------------ | ----------------------------------------------------------------- | | happyhorse-1.1-t2v Gere um vídeo de uma descrição de texto | happyhorse-1.1-i2v Gere um vídeo de uma imagem de primeira imagem com uma descrição de texto | happyhorse-1.1-r2v Gere um vídeo de imagens de referência com uma descrição de texto

Exemplo: Claude Code

Crie o arquivo. .claude/commands/text-to-video.md em seu diretório raiz do projeto com o seguinte conteúdo:

Call the Token Plan text-to-video API to generate a video based on a description and automatically download it locally.

User request: $ARGUMENTS

## Steps

1. Extract prompt (video description), model (default happyhorse-1.1-t2v), resolution (default 720P), ratio (default 16:9), and duration (default 5 seconds) from the user request. If the user explicitly specifies a model (e.g., "model=happyhorse-1.1-r2v"), you must use exactly that model name.

2. Use the Bash tool to run the following script, which submits the task, waits for completion, and downloads the video in one go:

```Bash.
#! # / bin / bash
Set-e
Tarefas Response=$(curl -s -X POST "https://token-plan.maas.qwencloudapi.com/api/v1/services/aigc/video-generation/video-synthesis" \
  -H "X-DashScope-Async: Active" \
  -H "Autorização: portadora de ANTHROPIC_AUTH_TOKEN" \
  - H "Tipo de conteúdo: aplicação/json" \
  -d '{
    "modelo": "<model>",
    "Input": {"prompt": "<prompt>"},
    "Parâmetros": "Resolução": "<resolution>", "ratio": "<ratio>", "duração": <duration>}
  }')
Tarefa = $$(echo "$task_response"      ã" tarefa_id":"[^"]*" cabeça -1 ã ã" corte -d'' -f4)
Se o Echo "A Submissão falhou:
Echo "A tarefa foi enviada, ID: US$TASK_ID.  Esperando por geração..."
- Não, não, não.
   Dormir 15
   ESTATUTO DE RESPONSA=$(curl -s "https://token-plan.maas.qwencloudapi.com/api/v1/tasks/$TASK_ID" \
    -H "Autorização: portadora de ANTHROPIC_AUTH_TOKEN")
  Status=$(echo "$STATUS_RESPONSE" □ grep - o '"task_status":"[^"*"'' □ corte -d''' -f4)
  Se [$status = "sucedeu"]; então
    VÍDEO_URL=$(echo "$STATUS_RESPONSE"        , grep - o '"vídeo_url":" [^"]*" ' , corte -d'' ' -f4)
    "Gerado" (data +%Y%m%d_%H%M%S).mp4"
    - O "UUTPUT" - "URL"
    Echo "Vídeo baixado: $(pwd) / $OUTPUT"
     Saída 0
   Então, eu não sei.
    Echo "Geração falhou: $STATUS_RESPONSE"; saída 1
  Fi.
  eco "Gerando..."
 Feito.
```

3. Display the generated video file path to the user.

No Claude Code, digite /text-to-video a white cat sunbathing on a balcony. Para usar um modelo de geração de vídeo diferente, inclua o nome do modelo no comando, por exemplo /text-to-video generate a video of a cat jumping using happyhorse-1.1-r2v.

A configuração para outras ferramentas é a mesma que para geração de imagens. Guarde o conteúdo para um text-to-video.md (ou SKILL.md) arquivo no caminho correspondente listado no [Outras ferramentas] (#other-tools) tabela abaixo.

Integrar modelos de síntese de fala

Modelos de síntese de fala usam o DashScope WebSocket SDK. Instale o DashScope Python SDK para usá-los.

Modelos de síntese de fala apoiados

Ver a tabela estruturada nos quadros de referência desta página ↓

Exemplo: Claude Code

Instale a dependência:

pip install dashscope

Crie o arquivo. .claude/commands/text-to-speech.md em seu diretório raiz do projeto com o seguinte conteúdo:

Call the Token Plan text-to-speech API to convert text to an audio file.

User request: $ARGUMENTS

## Steps

1. Extract text (the content to read aloud) and voice (default: longxiaochun) from the user request.

2. Use the Bash tool to run the following Python script to generate audio:

```Python
 Importação de os
 Importar o dashscope
Dashscope. Audio.tts_v2 Importe de DiscursoSynthesizer, AudioFormat
Da data-data-data-data-importação

"ANTHROPIC_AUTH_TOKEN")
"Dickscope.base_websocket_api_url ="wss://token-plan.maas.qwencloudapi.com/api-ws/v1/inference"

Sintetizador de Discursos
   Modelo="qwen-audio-3.0-tts-plus",
  Voz="<voice>",
   Format=AudioFormat.MP3_22050HZ_MONO_256KBPS,
)

 Áudio = sintetizador. Chamada.<text>")
 Nome do arquivo = f"speech_{datetime.now().strftime('%Y%m%d_%H%M%S')}.mp3"
com o nome aberto (filename, wb) como f:
  F. Write (áudio)
print(f"Audio salvo: {filename})
```

3. Display the generated audio file path to the user.

No Claude Code, digite /text-to-speech Hello, welcome to QwenCloud.

Outras ferramentas.

A tabela seguinte lista o mecanismo de extensão e o caminho do arquivo de configuração para cada ferramenta. Guarde o mesmo conteúdo do exemplo de geração de imagens para o caminho correspondente.

Ver a tabela estruturada nos quadros de referência desta página ↓

Qoder # # Habilidade # ~/.qoder/skills/text-to-image/SKILL.md |

Ferramentas baseadas em habilidade (Código, Qwen Code, Openclaw, Hermes Agent, Qoder) requerem matéria de frente YAML no início do arquivo:

---
name: "token-plan-image"
description: "Call the Token Plan text-to-image model to generate images from text descriptions. Activates when the user asks to draw or generate images."
---

(... same content as the image generation example above ...)