Recursos de áudio

Captura de áudio, reprodução e configuração de codec AOQ SDK

O SDK do cliente AOQ fornece recursos de áudio abrangentes, incluindo gerenciamento de alto-falante, mixagem de arquivos, injeção de fluxo de áudio externo e retornos de chamada de dados de quadro de áudio, em Android (Java), iOS (Objective-C) e HarmonyOS (ArkTS).

Captura de áudio

A captura de áudio abre o microfone do dispositivo e alimenta dados de áudio em tempo real no pipeline de codificação do SDK. O SDK oferece suporte a dois modos de captura:

• Captura interna (padrão): o SDK gerencia automaticamente o microfone – abrindo, gravando e fechando-o.
• Captura externa: o aplicativo gerencia o microfone diretamente e alimenta os dados PCM capturados no SDK por meio da API de fluxo de áudio externo.

Parâmetros de configuração

Referência da API

Exemplo

Android

AoqAudioCaptureConfig config = new AoqAudioCaptureConfig();
config.isVoipMode = true;
config.channel = 1;
engine.startAudioCapture(config);

iOS

AoqAudioCaptureConfig *config = [[AoqAudioCaptureConfig alloc] init];
config.isVoipMode = YES;
config.channel = 1;
[engine startAudioCapture:config];

HarmoniaOS

const config: AoqAudioCaptureConfig = { isVoipMode: true, channel: 1 };
engine.startAudioCapture(config);

Reprodução de áudio

A reprodução de áudio renderiza dados de áudio remotos recebidos para o alto-falante ou fone de ouvido local. O SDK oferece suporte a controles avançados, incluindo pausa/retomada com fade in/out e interrupção do turno atual de uma conversa de áudio.

Parâmetros de configuração

Referência da API

parâmetro fadeMs: a duração do fade-in ou fade-out em milissegundos ao pausar ou retomar a reprodução. Defina como 0 para uma troca imediata.

Gerenciamento de alto-falantes

Alterne o dispositivo de saída de áudio entre o alto-falante e o fone de ouvido.

A troca de alto-falante só é permitida no modo VoIP. Quando não estiver no modo VoIP, ligar enableSpeakerphone desencadeia um OnError(AoqECAudioDeviceEarpieceRequiresVoipMode) notificação de erro.

Comportamento específico do iOS: os dispositivos iPad têm apenas modo alto-falante. Quando a categoria AVAudioSession não é PlayAndRecord, esse método sempre retorna SIM.

Configuração do codec de áudio

Configure o formato de codificação, taxa de amostragem, contagem de canais e taxa de bits para uplink de áudio (codificador) e downlink (decodificador). Essas configurações determinam o formato de publicação e extração de streams.

Parâmetros de configuração

Referência da API

Formatos de codificação suportados

Mixagem de arquivos de áudio

Misture um arquivo de áudio local no fluxo de áudio atual para publicação e/ou reprodução local. Cada arquivo de áudio é identificado por um código atribuído pelo aplicativo fileId, permitindo que várias instâncias de arquivo sejam gerenciadas simultaneamente.

Misturando parâmetros de configuração

Referência da API

Direção do volume (tipo): AoqAudioStreamPublish(0) controla o volume de publicação. AoqAudioStreamPlayout(1) controla o volume de reprodução local.

Retornos de chamada de estado

Fluxos de áudio externos

Os fluxos de áudio externos permitem injetar dados de áudio PCM gerados pelo aplicativo no pipeline de áudio do SDK para publicação e/ou reprodução local. Os casos de uso típicos incluem saída de síntese TTS, saída de áudio do modelo AI e efeitos sonoros de fundo. Cada fluxo de áudio externo é identificado por um código atribuído ao aplicativo streamId.

Parâmetros de configuração

Referência da API

Práticas recomendadas para envio de dados

• Ligar pushAudioExternalStreamData em um loop para garantir que os dados sejam enviados com êxito.
• Se o código de erro 110 (buffer cheio) for retornado, suspenda por 30 ms e tente novamente. Não descarte dados.
• Antes de o motor desligar, pare primeiro o push loop e depois ligue removeAudioExternalStream.
• Para captura em tempo real, cada quadro dura 10 ms - chame push sempre que houver dados disponíveis. Para entrada baseada em arquivo, cada quadro dura 40 ms - chame push uma vez a cada 30 ms.

Retornos de chamada de quadro de áudio

Os retornos de chamada de quadro de áudio permitem obter dados PCM brutos em diferentes pontos do pipeline de áudio, para uso em análise de áudio, processamento personalizado, gravação e cenários semelhantes.

Posições de fontes de dados suportadas

Parâmetros de configuração de retorno de chamada

Etapas de uso

1. Cadastre o observador: Ligue setAudioFrameObserver para definir o ouvinte de retorno de chamada do quadro de áudio.
2. Habilitar a fonte de dados: Ligue enableAudioFrameObserver para selecionar a posição da fonte de dados e iniciar retornos de chamada.
3. Tratar dados de retorno de chamada: processa dados PCM no retorno de chamada.

Referência da API

Métodos de retorno de chamada

Estado de áudio e roteamento

O SDK monitora automaticamente as alterações de estado do dispositivo de áudio e as opções de roteamento, além de notificar a camada de aplicação por meio de retornos de chamada.

Códigos de estado do dispositivo

Tipos de roteamento de dispositivos

Referência de retorno de chamada

Erro de áudio e códigos de aviso

Códigos de erro de áudio

Códigos de aviso de áudio

Somente iOS: controle AVAudioSession

No iOS, o setAudioSessionRestriction A API oferece controle refinado sobre como o SDK gerencia o sistema AVAudioSession.

Passe uma combinação bit a bit de valores de restrição para limitar o controle do SDK sobre AVAudioSession e evitar conflitos com outros componentes de áudio na camada de aplicativo.