Qwen-Audio-Realtime Eventos do servidor

Qwen-Audio-Realtime Referência de evento do servidor API

Os eventos do servidor são enviados do servidor para o cliente. Todos os eventos do servidor incluem os campos comuns event_id (um identificador exclusivo gerado automaticamente pelo servidor) e type (o tipo de evento).

Guia do usuário: Conversa por voz em tempo real (Qwen-Audio-Realtime). Para ver o cronograma de interação do evento, consulte API WebSocket.

erro

Retornado quando uma solicitação é inválida ou ocorre um erro de serviço. Erros do cliente (invalid_request_error) não interrompa a conexão; erros do servidor (server_error) encerrar a conexão.

{
    "event_id": "event_xxx",
    "type": "error",
    "error": {
        "type": "invalid_request_error",
        "code": "invalid_value",
        "message": "Cannot create response while another response is in progress.",
        "param": "response.create"
    }
}

sessão.criada

O primeiro evento enviado pelo servidor após o estabelecimento da conexão, carregando a configuração padrão da sessão.

{
    "event_id": "event_KiKZC2zrhNsKFPZ5cTpyA",
    "type": "session.created",
    "session": {
        "object": "realtime.session",
        "model": "qwen-audio-3.1-realtime-plus",
        "modalities": ["text", "audio"],
        "voice": "longanqian_v3.1",
        "input_audio_transcription": {
            "model": "qwen3-asr-flash-realtime"
        },
        "turn_detection": {
            "type": "server_vad",
            "threshold": 0.5,
            "silence_duration_ms": 800
        },
        "id": "sess_A1LbG2D63WELBSawRbpq8"
    }
}

sessão.atualizada

Retornou depois de um session.update a solicitação é processada com sucesso, carregando a configuração completa da sessão atualizada. Se ocorrer um erro, um error o evento é retornado em seu lugar.

{
    "event_id": "event_FMG6kiHbILCGiqXFPA98e",
    "type": "session.updated",
    "session": {
        "id": "sess_A1LbG2D63WELBSawRbpq8",
        "object": "realtime.session",
        "model": "qwen-audio-3.0-realtime-plus",
        "modalities": ["text", "audio"],
        "voice": "longanqian",
        "input_audio_transcription": {
            "model": "qwen3-asr-flash-realtime"
        },
        "turn_detection": {
            "type": "semantic_vad",
            "threshold": 0.1,
            "silence_duration_ms": 900
        }
    }
}

input_audio_buffer.speech_started

O VAD detectou o início da fala (modo servidor_vad / semântico_vad).

{
    "event_id": "event_xxx",
    "type": "input_audio_buffer.speech_started",
    "audio_start_ms": 1200,
    "item_id": "item_xxx"
}

input_audio_buffer.speech_stopped

O VAD detectou o fim da fala (modo servidor_vad / semântico_vad).

{
    "event_id": "event_xxx",
    "type": "input_audio_buffer.speech_stopped",
    "audio_end_ms": 3400,
    "item_id": "item_xxx",
    "reason": "turn_invalid"
}

entrada_audio_buffer.comprometido

O buffer de áudio foi confirmado como uma mensagem do usuário (por meio de uma confirmação push-to-talk ou de uma confirmação VAD automática).

{
    "event_id": "event_xxx",
    "type": "input_audio_buffer.committed",
    "previous_item_id": "item_xxx",
    "item_id": "item_xxx"
}

entrada_audio_buffer.cleared

O buffer de áudio foi limpo (apenas modo push-to-talk).

{
    "event_id": "event_xxx",
    "type": "input_audio_buffer.cleared"
}

conversa.item.criado

Um novo item de conversa foi criado com sucesso. Acionado quando uma mensagem de áudio do usuário é confirmada, o cliente cria manualmente um item ou uma resposta do assistente começa.

{
    "event_id": "event_xxx",
    "type": "conversation.item.created",
    "previous_item_id": "item_xxx",
    "item": {
        "id": "item_xxx",
        "object": "realtime.item",
        "type": "message",
        "status": "in_progress",
        "role": "assistant",
        "content": []
    }
}

conversa.item.deletado

Um item de conversa foi excluído. Devolvido como confirmação após o envio do cliente conversation.item.delete.

{
    "event_id": "event_xxx",
    "type": "conversation.item.deleted",
    "item_id": "item_xxx"
}

conversa.item.recuperado

Um item de conversa foi recuperado com sucesso. Retornado após o envio do cliente conversation.item.retrieve. Para conteúdo do tipo áudio, apenas a transcrição é retornada, e não os dados de áudio originais.

{
    "event_id": "event_xxx",
    "type": "conversation.item.retrieved",
    "item": {
        "id": "item_xxx",
        "object": "realtime.item",
        "type": "message",
        "role": "user",
        "content": [
            {
                "type": "input_audio",
                "transcript": "Hello"
            }
        ]
    }
}

conversa.item.input_audio_transcription.delta

Resultados incrementais da transcrição ASR, transmitidos durante o reconhecimento de fala. Inclui informações de detecção de emoção e linguagem.

{
    "event_id": "event_xxx",
    "type": "conversation.item.input_audio_transcription.delta",
    "item_id": "item_xxx",
    "content_index": 0,
    "text": "Hello",
    "stash": "world"
}

conversa.item.input_audio_transcription.completed

O resultado final da transcrição ASR. O texto da transcrição é escrito no transcript campo do item correspondente.

{
    "event_id": "event_xxx",
    "type": "conversation.item.input_audio_transcription.completed",
    "item_id": "item_xxx",
    "content_index": 0,
    "transcript": "Hello world"
}

conversa.item.input_audio_transcription.failed

A transcrição ASR falhou.

{
    "event_id": "event_xxx",
    "type": "conversation.item.input_audio_transcription.failed",
    "item_id": "item_xxx",
    "content_index": 0,
    "error": {
        "type": "transcription_error",
        "code": "transcription_failed",
        "message": "ASR transcription failed"
    }
}

conversa.item.ambient_audio_transcription.delta

somente modo semântico_vad. Este evento não está associado a nenhum item no contexto da conversa.

Resultados incrementais da transcrição de áudio ambiente. Quando o VAD detecta atividade de voz, mas o julgamento semântico determina que a curva não é válida (por exemplo, ruído ou sons não semânticos como "um" ou "uh"), o resultado ASR é transmitido ao cliente como um evento ambiental. item_id é um ID temporário gerado separadamente.

{
    "event_id": "event_xxx",
    "type": "conversation.item.ambient_audio_transcription.delta",
    "item_id": "item_xxx",
    "content_index": 0,
    "text": "Um",
    "stash": ""
}

conversa.item.ambient_audio_transcription.completed

somente modo semântico_vad. Este resultado da transcrição não é gravado no contexto da conversa.

O resultado final da transcrição do áudio ambiente. Emparelhado com o evento delta, indicando que a transcrição de um segmento de áudio ambiente foi concluída.

{
    "event_id": "event_xxx",
    "type": "conversation.item.ambient_audio_transcription.completed",
    "item_id": "item_xxx",
    "content_index": 0,
    "transcript": "Um"
}

resposta.criada

Uma rodada de inferência de modelo foi iniciada.

{
    "event_id": "event_xxx",
    "type": "response.created",
    "response": {
        "id": "resp_xxx",
        "object": "realtime.response",
        "status": "in_progress",
        "modalities": ["text", "audio"],
        "voice": "longanqian",
        "output": []
    }
}

resposta.output_item.added

Um novo item de saída foi adicionado à resposta. Os itens de saída para respostas regulares têm o tipo message; itens de saída para chamada de função têm tipo function_call.

Exemplo de um item de saída de mensagem normal:

{
    "event_id": "event_xxx",
    "type": "response.output_item.added",
    "response_id": "resp_xxx",
    "output_index": 0,
    "item": {
        "id": "item_xxx",
        "object": "realtime.item",
        "type": "message",
        "status": "in_progress",
        "role": "assistant",
        "content": []
    }
}

Exemplo de item de saída de chamada de função:

Quando o item de saída é uma chamada de função, o item estrutura em response.output_item.added, conversation.item.createde response.output_item.done é o seguinte:

{
    "id": "item_xxx",
    "object": "realtime.item",
    "type": "function_call",
    "status": "completed",
    "call_id": "call_xxx",
    "name": "get_weather",
    "arguments": "{\"city\":\"Hangzhou\"}"
}

Uma única resposta pode incluir vários function_call itens, e pode incluir tanto um regular message saída e function_call saídas ao mesmo tempo. O conteúdo da chamada de função não é enviado ao TTS para reprodução.

resposta.content_part.added

Uma nova parte de conteúdo foi adicionada a um item de saída.

{
    "event_id": "event_xxx",
    "type": "response.content_part.added",
    "response_id": "resp_xxx",
    "item_id": "item_xxx",
    "output_index": 0,
    "content_index": 0,
    "part": {
        "type": "audio",
        "text": ""
    }
}

resposta.texto.delta

Evento de texto incremental no modo somente texto, transmitindo fragmentos de texto.

{
    "event_id": "event_xxx",
    "type": "response.text.delta",
    "response_id": "resp_xxx",
    "item_id": "item_xxx",
    "output_index": 0,
    "content_index": 0,
    "delta": "Hello"
}

resposta.texto.done

Saída de texto concluída, no modo somente texto.

{
    "event_id": "event_xxx",
    "type": "response.text.done",
    "response_id": "resp_xxx",
    "item_id": "item_xxx",
    "output_index": 0,
    "content_index": 0,
    "text": "Hello! How can I help you?"
}

resposta.audio_transcript.delta

Evento de texto de legenda incremental no modo de áudio, transmitindo fragmentos de legenda.

{
    "event_id": "event_xxx",
    "type": "response.audio_transcript.delta",
    "response_id": "resp_xxx",
    "item_id": "item_xxx",
    "output_index": 0,
    "content_index": 0,
    "delta": "Hello"
}

resposta.audio_transcript.done

Saída de legenda concluída, em modo de áudio.

{
    "event_id": "event_xxx",
    "type": "response.audio_transcript.done",
    "response_id": "resp_xxx",
    "item_id": "item_xxx",
    "output_index": 0,
    "content_index": 0,
    "transcript": "Hello! How can I help you?"
}

resposta.audio.delta

Evento de dados de áudio incremental no modo de áudio. O delta campo são dados de áudio PCM codificados em Base64.

{
    "event_id": "event_xxx",
    "type": "response.audio.delta",
    "response_id": "resp_xxx",
    "item_id": "item_xxx",
    "output_index": 0,
    "content_index": 0,
    "delta": "<base64-encoded audio data>"
}

resposta.audio.done

Saída de áudio concluída, em modo de áudio. Não inclui dados de áudio.

{
    "event_id": "event_xxx",
    "type": "response.audio.done",
    "response_id": "resp_xxx",
    "item_id": "item_xxx",
    "output_index": 0,
    "content_index": 0
}

resposta.content_part.done

Uma parte do conteúdo de um item de saída terminou de ser produzida.

{
    "event_id": "event_xxx",
    "type": "response.content_part.done",
    "response_id": "resp_xxx",
    "item_id": "item_xxx",
    "output_index": 0,
    "content_index": 0,
    "part": {
        "type": "audio",
        "text": "Hello! How can I help you?"
    }
}

resposta.output_item.done

Um item de saída na resposta terminou de ser gerado.

{
    "event_id": "event_xxx",
    "type": "response.output_item.done",
    "response_id": "resp_xxx",
    "output_index": 0,
    "item": {
        "id": "item_xxx",
        "object": "realtime.item",
        "type": "message",
        "status": "completed",
        "role": "assistant",
        "content": [
            {
                "type": "text",
                "text": "Hello! How can I help you?"
            }
        ]
    }
}

resposta.function_call_arguments.delta

Argumentos de chamada de função incremental. Quando o modelo decide chamar uma ferramenta, o servidor primeiro envia response.output_item.added (com item.type=function_call) e o correspondente conversation.item.createde, em seguida, transmite os fragmentos do argumento por meio deste evento.

{
    "event_id": "event_xxx",
    "type": "response.function_call_arguments.delta",
    "response_id": "resp_xxx",
    "item_id": "item_xxx",
    "output_index": 0,
    "call_id": "call_xxx",
    "delta": "{\"city"
}

resposta.function_call_arguments.done

Saída de argumentos de chamada de função concluída. Após receber este evento, o cliente deverá executar a ferramenta correspondente, escrever de volta um function_call_output através de conversation.item.createe, em seguida, envie response.create para desencadear a segunda rodada de inferência.

{
    "event_id": "event_xxx",
    "type": "response.function_call_arguments.done",
    "response_id": "resp_xxx",
    "item_id": "item_xxx",
    "output_index": 0,
    "call_id": "call_xxx",
    "name": "get_weather",
    "arguments": "{\"city\":\"Hangzhou\"}"
}

resposta.concluído

Uma rodada de inferência está concluída. status indica o motivo da conclusão.

Completed normally

```json
{
    "event_id": "event_xxx",
    "type": "response.done",
    "response": {
        "id": "resp_xxx",
        "object": "realtime.response",
        "status": "completed",
        "modalities": ["text", "audio"],
        "voice": "longanqian",
        "output": [
            {
                "id": "item_xxx",
                "object": "realtime.item",
                "type": "message",
                "status": "completed",
                "role": "assistant",
                "content": [
                    {
                        "type": "audio",
                        "transcript": "Hello! How can I help you?"
                    }
                ]
            }
        ]
    }
}
```

Interrupted

```json
{
    "event_id": "event_xxx",
    "type": "response.done",
    "response": {
        "id": "resp_xxx",
        "status": "cancelled",
        "status_details": {
            "type": "cancelled",
            "reason": "turn_detected"
        }
    }
}
```

voiceprint_audio_list.in_progress

A inscrição do Voiceprint está ocorrendo de forma assíncrona.

{
    "event_id": "event_PaEcN7CCrlhE8q4MM2yND",
    "type": "voiceprint_audio_list.in_progress",
    "item_id": "vp_Y12cA986j1KZ9O9YmAXOA"
}

voiceprint_audio_list.completed

O registro do Voiceprint foi concluído.

{
    "event_id": "event_PaEcN7CCrlhE8q4MM2yND",
    "type": "voiceprint_audio_list.completed",
    "item_id": "vp_Y12cA986j1KZ9O9YmAXOA"
}

voiceprint_audio_list.failed

Falha no registro do Voiceprint. Isto não bloqueia chamadas de conversação normais.

{
    "event_id": "event_PaEcN7CCrlhE8q4MM2yND",
    "type": "voiceprint_audio_list.failed",
    "item_id": "vp_Y12cA986j1KZ9O9YmAXOA",
    "reason": ""
}