Recursos de vídeo

Configuração de captura, visualização e codificação de vídeo AOQ SDK

Este documento apresenta recursos de vídeo comuns em Android (Java), iOS (Objective-C) e HarmonyOS (ArkTS).

1. Captura de vídeo

1.1 Visão geral

A captura de vídeo abre a câmera do dispositivo e alimenta quadros de vídeo em tempo real no pipeline de codificação do SDK. O SDK oferece suporte a dois modos de captura:

• Captura interna (padrão): o SDK gerencia automaticamente a câmera – abrindo-a, capturando quadros e fechando-a. Suporta alternância entre câmeras frontal e traseira.
• Captura externa: O aplicativo gerencia a câmera ou outra fonte de vídeo. Os quadros capturados são alimentados no SDK via pushExternalVideoCapturedFrame.

1.2 Capturar parâmetros de configuração

1.3 Enumeração da direção da câmera

Referência da API 1.4

1.5 Exemplo

Android

```java
AoqVideoCaptureConfig config = new AoqVideoCaptureConfig();
config.width = 1280;
config.height = 720;
config.fps = 15;
config.cameraDirection = AoqCameraDirection.AoqCameraDirectionFront;
engine.startVideoCapture(config);
```

iOS

```objectivec
AoqVideoCaptureConfig *config = [[AoqVideoCaptureConfig alloc] init];
config.width = 1280;
config.height = 720;
config.fps = 15;
config.cameraDirection = AoqCameraDirectionFront;
[engine startVideoCapture:config];
```

HarmonyOS

```javascript
let config: AoqVideoCaptureConfig = {
  width: 1280,
  height: 720,
  fps: 15,
  cameraDirection: AoqCameraDirection.AoqCameraDirectionFront
};
engine.startVideoCapture(config);
```

2. Renderização de vídeo

2.1 Visão geral

A renderização de vídeo exibe na tela quadros de vídeo capturados localmente ou recebidos remotamente. O SDK oferece suporte à configuração de uma janela de visualização local e uma janela de renderização remota. Usar trackType para distinguir entre o fluxo de vídeo (Vídeo) e o fluxo de compartilhamento de tela (Tela).

2.2 Modos de renderização

2.3 Configuração da tela

Referência da API 2.4

Diferenças de plataforma: o Android usa SurfaceView ou TextureView como contêiner de renderização. iOS usa UIView (envolvido internamente por AoqRenderView com aceleração Metal). HarmonyOS usa XComponent (gerenciado por AoqXComponentController para renderização nativa).

3. Configuração do codec de vídeo

3.1 Visão geral

Configure parâmetros de codificação de vídeo, incluindo formato de codificação, resolução, taxa de quadros, taxa de bits, intervalo de quadros-chave, espelhamento e orientação. Usar trackType para aplicar diferentes configurações de codificação à trilha de vídeo e à trilha de compartilhamento de tela.

3.2 Parâmetros de configuração de codificação

3.3 Enumeração do formato de codificação

3.4 Modo espelho

3.5 Modo de orientação

Referência da API 3.6

4. Entrada de quadro de vídeo externo

4.1 Visão geral

A entrada de quadro de vídeo externo permite que seu aplicativo envie dados de quadro de vídeo personalizados para o SDK para captura externa ou cenários de codificação externa. Dois métodos push são suportados:

• Enviar quadros brutos: enviar dados de pixel não codificados (I420, NV12, NV21, BGRA, RGBA e formatos semelhantes) para o SDK. O SDK codifica os dados.
• Enviar quadros codificados: enviar dados já codificados (por exemplo, JPEG) diretamente para o SDK. O SDK empacota e envia sem recodificação.

O roteamento é controlado por trackType: AoqTrackTypeVideo rotas para a trilha de captura de vídeo; AoqTrackTypeScreen rotas para a trilha de compartilhamento de tela.

Enumeração de formato de pixel 4.2

4.3 Estrutura de dados de quadro de vídeo bruto (AoqVideoFrame)

4.4 Estrutura de dados do quadro de vídeo codificado (AoqVideoEncodedFrame)

Referência da API 4.5

5. Retornos de chamada de quadro de vídeo

5.1 Visão geral

Os retornos de chamada de quadro de vídeo permitem obter dados brutos de quadro em diferentes pontos do pipeline de vídeo, para uso em análise de vídeo, processamento personalizado, gravação e cenários semelhantes. Os modos somente leitura e leitura-gravação são suportados. No modo leitura-gravação, você pode modificar os dados do quadro e gravá-los de volta no SDK.

5.2 Posições de fontes de dados suportadas

5.3 Parâmetros de configuração de retorno de chamada

5.4 Enumeração de alinhamento de largura

5.5 Etapas de uso

1. Cadastre o observador: Ligue setVideoFrameObserver para definir o ouvinte de retorno de chamada do quadro de vídeo.
2. Habilitar a fonte de dados: Ligue enableVideoFrameObserver para selecionar a posição da fonte de dados e iniciar retornos de chamada.
3. Tratar dados de retorno de chamada: Obtenha dados do quadro dentro do retorno de chamada. Os dados do quadro são válidos apenas durante o retorno de chamada. Copie-o se precisar de forma assíncrona.

Referência da API 5.6

5.7 Métodos de retorno de chamada

Retornando true/YES de um retorno de chamada indica que os dados foram modificados e devem ser gravados de volta no SDK. Isto só tem efeito no modo ReadWrite com formato I420.

7. Controle de envio de fluxo de mídia

7.1 Visão geral

Controle se os fluxos de mídia locais serão enviados. Usar trackType para direcionar uma faixa específica (Áudio, Vídeo ou Tela). Quando o envio é desativado, a captura e a codificação continuam, mas os dados não são enviados para a extremidade remota.

Referência da API 7.2

7.3 Enumeração do tipo de trilha

8. Monitoramento do estado do dispositivo de vídeo

8.1 Visão geral

O SDK monitora automaticamente as alterações no estado da câmera e notifica a camada de aplicação por meio do onVideoDeviceStateChanged retorno de chamada.

8.2 Códigos de estado do dispositivo

8.3 Referência de retorno de chamada

9. Erro de vídeo e códigos de aviso

9.1 Códigos de erro de vídeo

Códigos de erro adicionais do Android: ScreenPermissionDenied(310) – permissão de compartilhamento de tela negada; ScreenForegroundServiceFailed(311) – falha ao iniciar o serviço em primeiro plano.

9.2 Códigos de alerta de vídeo

Apêndice: lista completa de métodos de API de vídeo