Qwen-Audio-3.x-ASR-Flash-Streaming/Fun-ASR-Realtime SDK Android

Este guia mostra como usar o Android SDK para Qwen-Audio-3.x-ASR-Flash-Streaming e Fun-ASR-Realtime reconhecimento de fala em tempo real para converter fala em texto.

Guia do usuário: Para apresentações de modelos e conselhos de seleção, consulte Fala para texto.

Início rápido

1. Obtenha uma chave API

2. Baixe o SDK e execute o código de exemplo:

   • Baixe o pacote SDK mais recente.
   • Extraia o pacote ZIP. O SDK em formato AAR está no app/libs diretório. Adicione-o às dependências do seu projeto. Para integração com Android C++, use android_libs e android_include do pacote ZIP para obter as bibliotecas dinâmicas e arquivos de cabeçalho.
   • Abra o projeto no Android Studio. O código de exemplo está em DashFunAsrSpeechTranscriberActivity.java. Substitua a chave API para experimentar o recurso.

Procedimento de chamada

1. Inicialize o SDK.
2. Defina os parâmetros para seu caso de uso. Use o parameters argumento do inicializar método para definir os Parâmetros de conexão e controle e use o setParams método para definir os Parâmetros de reconhecimento de fala.
3. Chame startDialog para iniciar o reconhecimento.
4. No onNuiAudioStateChanged retorno de chamada, inicia o dispositivo de gravação com base no estado do áudio.
5. Forneça continuamente dados de gravação no onNuiNeedAudioData retorno de chamada ou enviar ativamente dados de gravação chamando updateAudio.
6. No onNuiEventCallback retorno de chamada, ouça eventos e obtenha os resultados de reconhecimento de fala.
7. Chame stopDialog para interromper o reconhecimento e ouvir o evento EVENT_TRANSCRIBER_COMPLETE para confirmar que o reconhecimento terminou.
8. Quando você não precisar mais de reconhecimento, ligue para release para liberar os recursos do SDK.

Parâmetros de solicitação

Parâmetros de conexão e controle

Para configurar esses parâmetros, passe uma string JSON no arquivo parameters argumento do inicializar método.

• Exemplo: Veja a seguir um exemplo de string JSON. Nem todos os parâmetros estão listados. Adicione outros conforme necessário ao escrever seu código:

{
    "url": "wss://maas.qwencloudapi.com/api-ws/v1/inference",
    "apikey": "st-****",
    "device_id": "my_device_id",
    "service_mode": "1"
}

• Parâmetros

Parâmetros de reconhecimento de fala

Para configurar esses parâmetros, passe uma string JSON no arquivo params argumento do setParams método.

• Exemplo: Veja a seguir um exemplo de string JSON. Nem todos os parâmetros estão listados. Adicione outros conforme necessário ao escrever seu código:

{
    "service_type": 4,
    "nls_config": {
        "model": "qwen-audio-3.0-asr-flash-streaming",
        "sr_format": "pcm",
        "sample_rate": "16000"
    }
}

• Parâmetros

Interfaces principais

NativoNui

inicializar

Inicializa uma instância do SDK de reconhecimento de fala. O SDK é um singleton. Não inicialize mais de uma vez antes de chamar release.

Este método é bloqueado, então chame-o em um thread que não seja da UI.

• Assinatura do método

public synchronized int initialize(final INativeNuiCallback callback,
                                   String parameters,
                                   final Constants.LogLevel level,
                                   final boolean save_log)

• Parâmetros

• Valor de retorno

  Um código de erro. Consulte Referência do código de erro.

####setParams

Define os Parâmetros de reconhecimento de fala no formato JSON. Chame esse método antes de startDialog.

• Assinatura do método

public synchronized int setParams(String params)

• Parâmetros

• Valor de retorno

  Um código de erro. Consulte Referência do código de erro.

startDialog

Inicia o reconhecimento.

• Assinatura do método

public synchronized int startDialog(VadMode vad_mode, String dialog_params)

• Parâmetros

{
  "apikey": "st-****",
  "input_context": [
    {
      "role": "user",
      "content": [
        {
          "text": "xxxxx",
          "type": "input_text"
        }
      ]
    }
  ]
}

• Valor de retorno

  Um código de erro. Consulte Referência do código de erro.

stopDialog

Termina o reconhecimento. Depois de chamar esse método, o servidor retorna o resultado final do reconhecimento e encerra a tarefa.

• Assinatura do método

public synchronized int stopDialog();

• Valor de retorno

  Um código de erro. Consulte Referência do código de erro.

cancelarDialog

Termina o reconhecimento imediatamente. Depois de chamar esse método, a tarefa termina imediatamente, sem esperar que o servidor retorne o resultado final do reconhecimento.

• Assinatura do método

public synchronized int cancelDialog();

• Valor de retorno

  Um código de erro. Consulte Referência do código de erro.

atualizaçãoAção

Envia um comando de ação durante uma interação para atualizar o comportamento do tempo de execução, como o contexto de reconhecimento.

• Assinatura do método

public synchronized int updateAction(String params);

• Parâmetros

{
  "context": [
    {
      "role": "user",
      "content": [
        {
          "text": "xxx",
          "type": "input_text"
        }
      ]
    }
  ]
}

• Valor de retorno

  Um código de erro. Consulte Referência do código de erro.

atualizaçãoÁudio

Quando audio_update_manually está definido para "true", chame esse método para enviar ativamente os dados de gravação em vez de fornecer os dados por meio onNuiNeedAudioData.

• Assinatura do método

public synchronized int updateAudio(byte[] data, int len,
                                    boolean first_pack);

• Parâmetros

• Valor de retorno

  Um código de erro. Consulte Referência do código de erro.

atualizaçãoRefAudio

Quando audio_update_manually está definido para "true" e o AEC no dispositivo estiver ativado, chame esse método para enviar o áudio reproduzido pelo player como sinal de referência.

• Assinatura do método

public synchronized int updateRefAudio(byte[] data, int len,
                                       boolean first_pack);

• Parâmetros

• Valor de retorno

  Um código de erro. Consulte Referência do código de erro.

lançamento

Libera todos os recursos internos do SDK. Depois de chamar esse método, a instância do SDK fica indisponível. Para usá-lo novamente, você deve reinicializá-lo chamando initialize.

• Assinatura do método

public synchronized int release();

• Valor de retorno

  Um código de erro. Consulte Referência do código de erro.

Obter versão

Obtém as informações da versão atual do SDK.

• Assinatura do método

public synchronized String GetVersion();

• Valor de retorno

  As informações da versão atual do SDK.

INativeNuiCallback: retornos de chamada do ouvinte

onNuiEventCallback

Escuta eventos e resultados de reconhecimento de fala.

• Assinatura do método

void onNuiEventCallback(NuiEvent event, final int resultCode, final int arg2, KwsResult kwsResult, AsrResult asrResult);

• Parâmetros

onNuiAudioStateChanged

Escuta o estado do áudio. O SDK usa esse retorno de chamada para notificá-lo quando iniciar ou interromper a gravação.

• Assinatura do método

void onNuiAudioStateChanged(AudioState state);

• Estados de AudioState

onNuiNeedAudioData

Fornece os dados de áudio para reconhecimento. Após o início do reconhecimento, esse retorno de chamada é acionado continuamente. Forneça os dados de áudio para reconhecer neste retorno de chamada.

• Assinatura do método

int onNuiNeedAudioData(byte[] buffer, int len);

• Parâmetros

• Valor de retorno

  O número de bytes realmente preenchidos.

onNuiAssistEventCallback

Recebe eventos e dados auxiliares. Este retorno de chamada recebe eventos auxiliares e dados relacionados do SDK.

• Assinatura do método

void onNuiAssistEventCallback_(int event, byte[] info, int info_len,
                               byte[] data);

• Parâmetros

onNuiLogTrackCallback

Escuta logs de rastreamento. Esse retorno de chamada recebe logs internos detalhados do SDK para ajudar na solução de problemas e na depuração.

default void onNuiLogTrackCallback(Constants.LogLevel level, String log)

NuiEvent: tipos de eventos