Qwen-Audio-3.0-ASR-Flash-Streaming/Fun-ASR-Realtime iOS SDK

Este guia mostra como usar o Qwen-Audio-3.0-ASR-Flash-Streaming/Fun-ASR-Realtime SDK do iOS com reconhecimento de fala em tempo real para transcrever fala em texto.

Guia do usuário: Para descrições de modelos e orientações de seleção, consulte Fala para texto.

Início rápido

1. Obter uma chave de API: Obter uma chave de API

2. Baixe o SDK e execute o código de exemplo:

   • Baixe o pacote SDK mais recente.
   • Extraia o pacote ZIP e adicione o nuisdk.xcframework incluído ao seu projeto.
   • Em Fases de construção → Vincular binário a bibliotecas, adicione nuisdk.xcframework.
   • Em Geral → Estruturas, Bibliotecas e Conteúdo Incorporado, defina nuisdk.xcframework como Incorporar e Assinar.
   • Abra o projeto de amostra no Xcode. O código de exemplo está em DashFunAsrSpeechTranscriberViewController.m. Substitua a chave de API pela sua própria para experimentar o recurso.

Sequência de chamada

1. Inicialize o SDK.
2. Defina parâmetros para seu caso de uso: use o nui_initialize API para definir Parâmetros de conexão e controle e use o nui_set_params API para definir parâmetros de qualidade de reconhecimento.
3. Chame nui_dialog_start para iniciar o processo de reconhecimento.
4. No onNuiAudioStateChanged retorno de chamada, abra o dispositivo de gravação com base no estado do áudio.
5. No onNuiNeedAudioData retorno de chamada, fornecimento contínuo de dados de gravação ou chamada nui_update_audio_data para enviar ativamente dados de gravação.
6. No onNuiEventCallback retorno de chamada, ouvir eventos e recuperar resultados de reconhecimento de fala.
7. Ligue para nui_dialog_cancel para interromper o reconhecimento e confirmar que o reconhecimento foi concluído ouvindo o evento EVENT_TRANSCRIBER_COMPLETE.
8. Quando você não precisar mais do recurso de reconhecimento, ligue para nui_release para liberar os recursos do SDK.

Parâmetros de solicitação

Parâmetros de conexão e controle

Configure esses parâmetros passando uma string JSON no arquivo parameters argumento do nui_initialize API.

• Parâmetros de exemplo: A sequência JSON a seguir é um exemplo e não lista todos os parâmetros. Adicione os parâmetros necessários ao escrever seu código:

{
    "url": "wss://maas.qwencloudapi.com/api-ws/v1/inference",
    "apikey": "st-****",
    "device_id": "my_device_id",
    "service_mode": "1"
}

• Descrições dos parâmetros

Parâmetros de qualidade de reconhecimento

Configure esses parâmetros passando uma string JSON no arquivo params argumento do nui_set_params API.

• Parâmetros de exemplo: A sequência JSON a seguir é um exemplo e não lista todos os parâmetros. Adicione os parâmetros necessários ao escrever seu código:

{
    "service_type": 4,
    "nls_config": {
        "model": "qwen-audio-3.0-asr-flash-streaming",
        "sr_format": "pcm",
        "sample_rate": "16000"
    }
}

• Descrições dos parâmetros

Principais APIs

NeoNui

nui_initialize

Inicializa a instância do SDK de reconhecimento de fala. O SDK é um singleton. Não inicialize-o novamente antes de chamar nui_release.

• Assinatura do método

-(NuiResultCode) nui_initialize:(const char *)parameters
                       logLevel:(NuiSdkLogLevel)level
                        saveLog:(BOOL)save_log;

• Descrições dos parâmetros

• Valor de retorno

  Retorna um código de erro. Consulte Referência do código de erro.

####nui_set_params

Define os Parâmetros de qualidade de reconhecimento no formato JSON. Chame este método antes de nui_dialog_start.

• Assinatura do método

-(NuiResultCode) nui_set_params:(const char *)params;

• Descrições dos parâmetros

• Valor de retorno

  Retorna um código de erro. Consulte Referência do código de erro.

nui_dialog_start

Inicia o reconhecimento.

• Assinatura do método

-(NuiResultCode) nui_dialog_start:(NuiVadMode)vad_mode
                      dialogParam:(const char *)dialog_params;

• Descrições dos parâmetros

{
  "apikey": "st-****",
  "input_context": [
    {
      "role": "user",
      "content": [
        {
          "text": "xxxxx",
          "type": "input_text"
        }
      ]
    }
  ]
}

• Valor de retorno

  Retorna um código de erro. Consulte Referência do código de erro.

nui_dialog_cancel

Termina o reconhecimento ou cancela a interação atual imediatamente.

• Assinatura do método

-(NuiResultCode) nui_dialog_cancel:(BOOL)force;

• Descrições dos parâmetros

• Valor de retorno

  Retorna um código de erro. Consulte Referência do código de erro.

nui_dialog_action

Envia uma ação de diálogo durante uma interação para atualizar o contexto de reconhecimento ou outro comportamento de tempo de execução.

• Assinatura do método

-(NuiResultCode) nui_dialog_action:(const char *)action_params;

• Descrições dos parâmetros

{
  "context": [
    {
      "role": "user",
      "content": [
        {
          "text": "xxx",
          "type": "input_text"
        }
      ]
    }
  ]
}

• Valor de retorno

  Retorna um código de erro. Consulte Referência do código de erro.

nui_update_audio_data

Quando audio_update_manually está definido para "true", os dados de gravação não são mais fornecidos através onNuiNeedAudioData. Use este método para pressioná-lo ativamente.

• Assinatura do método

-(NuiResultCode) nui_update_audio_data:(const char *)data
                                    Len:(int)length
                              FirstPack:(BOOL)first_pack;

• Descrições dos parâmetros

• Valor de retorno

  Retorna um código de erro. Consulte Referência do código de erro.

nui_push_referência_data

Quando audio_update_manually está definido para "true" e o cancelamento de eco acústico (AEC) no dispositivo estiver ativado, use este método para enviar o áudio reproduzido pelo player como sinal de referência.

• Assinatura do método

-(NuiResultCode) nui_push_reference_data:(const char *)data
                                     Len:(int)length
                               FirstPack:(BOOL)first_pack;

• Descrições dos parâmetros

• Valor de retorno

  Retorna um código de erro. Consulte Referência do código de erro.

nui_lançamento

Libera todos os recursos internos do SDK e encerra à força todas as tarefas em execução. Depois de chamar esse método, a instância do SDK fica indisponível. Para usá-lo novamente, você deve chamar nui_initialize para inicializá-lo novamente.

• Assinatura do método

-(NuiResultCode) nui_release;

• Valor de retorno

  Retorna um código de erro. Consulte Referência do código de erro.

nui_get_version

Obtém a versão atual do SDK. Este método retorna um valor somente após nui_initialize é chamado.

• Assinatura do método

-(const char*) nui_get_version;

• Valor de retorno

  A versão atual do SDK.

nui_get_all_response

Obtém as informações completas do retorno de chamada do evento atual.

• Assinatura do método

-(const char*) nui_get_all_response;

• Valor de retorno

  As informações completas do evento como uma string JSON.

NeoNuiSdkDelegate: ouvintes de retorno de chamada

onNuiEventCallback

Escuta eventos e resultados de reconhecimento de fala.

• Assinatura do método

-(void) onNuiEventCallback:(NuiCallbackEvent)nuiEvent
                    dialog:(long)dialog
                 kwsResult:(const char *)wuw
                 asrResult:(const char *)asr_result
                  ifFinish:(BOOL)finish
                   retCode:(int)code;

• Descrições dos parâmetros

onNuiAudioStateChanged

Escuta o estado do áudio. O SDK usa esse retorno de chamada para notificá-lo quando iniciar ou interromper a gravação.

• Assinatura do método

-(void) onNuiAudioStateChanged:(NuiAudioState)state;

• Estados NuiAudioState

onNuiNeedAudioData

Fornece dados de áudio para reconhecimento. Após o início do reconhecimento, esse retorno de chamada é acionado continuamente. Forneça os dados de áudio para serem reconhecidos nele.

• Assinatura do método

-(int) onNuiNeedAudioData:(char *)audioData length:(int)len;

• Descrições dos parâmetros

onNuiAssistEventCallback

Recebe dados e informações auxiliares. Recebe eventos auxiliares e dados relacionados do SDK.

• Assinatura do método

-(void) onNuiAssistEventCallback:(NuiCallbackEvent)nuiEvent
                            info:(char*)info
                         infoLen:(int)info_len
                          buffer:(char*)buffer
                             len:(int)len;

• Descrições dos parâmetros

onNuiLogTrackCallback

Escuta registros de rastreamento. Esse retorno de chamada recebe logs internos detalhados do SDK para ajudar você a localizar e depurar problemas.

-(void) onNuiLogTrackCallback:(NuiSdkLogLevel)level
                   logMessage:(const char *)log;

NuiCallbackEvent: tipos de eventos