Qwen-Audio-Realtime Eventos do cliente

Qwen-Audio-Realtime Referência de evento do cliente API

Os eventos do cliente são enviados pelo cliente ao servidor para configurar a sessão, enviar áudio, gerenciar a conversa e controlar a inferência.

Guia do usuário: Conversa por voz em tempo real (Qwen-Audio-Realtime). Para ver o cronograma de interação do evento, consulte API WebSocket.

sessão.atualização

Após estabelecer a conexão, envie este evento para atualizar a configuração padrão da sessão. Inclua apenas os campos que você want mudar; os campos omitidos mantêm seu valor atual. O servidor valida os parâmetros no recebimento — se forem inválidos, retorna um erro; se válido, aplica as alterações e retorna a configuração completa.

turn_detection só pode ser alterado antes do primeiro áudio ser enviado (estado IDLE).

Exemplo de configuração básica:

{
    "type": "session.update",
    "session": {
        "modalities": [
            "text",
            "audio"
        ],
        "voice": "longanqian",
        "turn_detection": {
            "type": "server_vad",
            "threshold": 0.5,
            "silence_duration_ms": 800
        }
    }
}

Exemplo de chamada de função:

{
    "type": "session.update",
    "session": {
        "modalities": [
            "text",
            "audio"
        ],
        "voice": "longanqian",
        "tools": [
            {
                "type": "function",
                "function": {
                    "name": "get_weather",
                    "description": "Get the weather for a specified city",
                    "parameters": {
                        "type": "object",
                        "properties": {
                            "city": {
                                "type": "string",
                                "title": "City"
                            }
                        },
                        "required": ["city"]
                    }
                }
            }
        ],
        "turn_detection": {
            "type": "server_vad",
            "threshold": 0.5,
            "silence_duration_ms": 800
        }
    }
}

Exemplo de registro de impressão de voz (voiceprint_audio_urls):

{
    "type": "session.update",
    "session": {
        "turn_detection": {
            "type": "smart_turn",
            "voiceprint_audio_urls": [
                "https://example.com/speaker1.pcm",
                "https://example.com/speaker2.wav"
            ]
        }
    }
}

entrada_audio_buffer.append

Acrescenta dados de áudio ao buffer de entrada. Envie continuamente em alta frequência (por exemplo, um quadro a cada 20-40 ms). Este evento não tem reconhecimento do servidor.

{
    "type": "input_audio_buffer.append",
    "audio": "<base64-encoded audio data>"
}

entrada_audio_buffer.commit

somente modo push-to-talk. Confirma o áudio armazenado em buffer como uma mensagem do usuário. A confirmação não aciona automaticamente a inferência - envie response.create para acioná-lo manualmente.

Este evento é ignorado no modo server_vad / smart_turn.

{
    "type": "input_audio_buffer.commit"
}

entrada_audio_buffer.clear

somente modo push-to-talk. Limpa qualquer áudio não confirmado no buffer. Ignorado no modo server_vad / smart_turn. O servidor responde com um input_audio_buffer.cleared evento.

{
    "type": "input_audio_buffer.clear"
}

Conversa, item, criar.

Insere manualmente um item de conversa no contexto da conversa. Use isso para injetar contexto histórico, adicionar informações de texto ou gravar o resultado de uma chamada de função.

Se item.id já existe na conversa, o servidor retorna um erro e rejeita a criação.

Injete uma mensagem de texto do usuário:

{
    "type": "conversation.item.create",
    "previous_item_id": "item_xxx",
    "item": {
        "id": "my_item_001",
        "type": "message",
        "role": "user",
        "content": [
            {
                "type": "input_text",
                "text": "Please summarize our last conversation"
            }
        ]
    }
}

Escreva um resultado de chamada de função:

{
    "type": "conversation.item.create",
    "item": {
        "type": "function_call_output",
        "call_id": "call_xxx",
        "output": "{\"temperature\":18,\"condition\":\"sunny\"}"
    }
}

conversa.item.retrieve

Recupera um item de conversa armazenado no servidor. Para conteúdo do tipo áudio, o item retornado inclui apenas a transcrição (transcript), não os dados de áudio originais.

{
    "type": "conversation.item.retrieve",
    "item_id": "item_xxx"
}

conversa.item.delete

Exclui o item de conversa especificado do contexto de conversa. O servidor confirma com um conversation.item.deleted evento.

{
    "type": "conversation.item.delete",
    "item_id": "item_xxx"
}

resposta.criar

Aciona explicitamente uma rodada de inferência de modelo. Comportamento por modo:

• modo push-to-talk: Deve ser chamado manualmente, após confirmar o áudio em buffer via input_audio_buffer.commit ou escrevendo um function_call_output. Não permitido enquanto uma resposta já estiver sendo gerada.
• modo server_vad: Geralmente acionado automaticamente pelo servidor. O cliente também pode chamá-lo manualmente quando nenhuma resposta estiver sendo gerada; não permitido enquanto uma resposta já estiver sendo gerada.
• modo smart_turn: Permitido enquanto aguarda a próxima entrada do usuário. Não permitido dentro de um turno ativo (de input_audio_buffer.speech_started para response.done).

O response campo é opcional e substitui a configuração padrão da sessão para esta rodada de inferência. Em cenários de chamada de função, o cliente também usa esse evento para acionar a segunda rodada de inferência após escrever um function_call_output.

No modo server_vad / smart_turn, uma resposta acionada manualmente ainda pode ser interrompida por uma nova fala.

{
    "type": "response.create",
    "response": {
        "modalities": ["audio", "text"]
    }
}

resposta.cancelar

Cancela a resposta que está sendo gerada no momento. Qualquer texto já produzido é gravado na cadeia de itens e o servidor retorna response.done com status=cancelled.

Retorna um erro se nenhuma inferência estiver em andamento.

{
    "type": "response.cancel"
}