SDK Linux Python

Referência da API Linux Python do SDK do cliente AOQ

A plataforma Linux fornece APIs por meio do aoq_client_sdk Módulo Python. Todos os retornos de chamada são acionados em threads nativos e você mesmo deve garantir a segurança do thread.

índice API

Ciclo de vida do motor

Gerenciamento de dispositivos de áudio

Configuração de codificação de áudio

Gerenciamento de dispositivos de vídeo

Codec de vídeo e entrada externa

Controle de fluxo de mídia

Reprodução de arquivo de áudio

Fluxos de áudio externos

Mensagens em tempo real

Retornos de chamada de quadro de áudio

Retornos de chamada de quadro de vídeo

Interfaces de retorno de chamada

Funções utilitárias

Detalhes da API

set_video_decoder_config

def set_video_decoder_config(self, config: AoqVideoCodecConfig) -> int

config especifica configurações de decodificação de vídeo. Somente os seguintes campos terão efeito: track_type, codec_type, width, height, fps, bitrate. Outros campos aplicam-se apenas à codificação.

Ligue antes connect para propor configurações de codec para assinaturas.

Retorna 0 em caso de sucesso ou um valor diferente de zero em caso de falha.

Ciclo de vida do motor

criar_motor

Cria a instância do mecanismo (método de classe). O SDK mantém o mecanismo como um singleton global, portanto, chamar esse método novamente retorna a instância existente. Depois destroy, você deve ligar create_engine novamente antes de continuar a usar o motor.

@classmethod
def create_engine(cls, config: AoqCreateConfig, listener: AoqEngineEventListener) -> "AoqClientEngine"

Retorna: a instância do mecanismo AoqClientEngine. Se a criação falhar, um RuntimeError será lançado.

destruir

Destrói a instância do mecanismo (método de classe) e libera todos os recursos.

@classmethod
def destroy(cls) -> int

Retorna: 0 em caso de sucesso; diferente de zero em caso de falha.

obter_versão

Obtém a versão atual do SDK (método estático).

@staticmethod
def get_version() -> str

Retorna: A string da versão, como "1.0.0".

conectar

Conecta-se ao servidor de retransmissão. O servidor de aplicação obtém parâmetros de conexão AOQ temporários com base no protocolo em uso e os envia ao cliente. Para obter mais informações, consulte Autenticação de token.

def connect(self, config: AoqConnectConfig) -> int

Retorna: 0 indica que a chamada é despachada e executada de forma assíncrona; diferente de zero indica que a validação do parâmetro falhou.

desconectar

Desconecta do servidor e libera os recursos associados à conexão.

def disconnect(self) -> int

Retorna: 0 indica que a chamada é despachada e executada de forma assíncrona; diferente de zero indica uma falha.

Gerenciamento de dispositivos de áudio

start_audio_capture

def start_audio_capture(self, config: AoqAudioCaptureConfig) -> int

No Linux, este método é uma implementação vazia. Retorna 0, mas não abre placa de som ou microfone. Fornece entrada de áudio por meio de um fluxo de áudio externo.

parar_audio_capture

def stop_audio_capture(self) -> int

Este método não tem efeito real porque a compilação do Linux não define o estado do dispositivo de captura de áudio.

mudo_audio_captura

def mute_audio_capture(self, mute: bool) -> int

A versão Linux não oferece suporte à captura de microfone. Este método não pode controlar um dispositivo de captura de áudio real.

iniciar_audio_player

def start_audio_player(self, config: AoqAudioPlaybackConfig) -> int

No Linux, este método é uma implementação vazia. Ele retorna 0, mas não abre uma placa de som ou alto-falante. Obtenha saída de áudio por meio de um retorno de chamada de quadro de áudio e reproduza você mesmo.

parar_audio_player / pausar_audio_player / retomar_audio_player

def stop_audio_player(self) -> int
def pause_audio_player(self, fade_ms: int = 0) -> int
def resume_audio_player(self, fade_ms: int = 0) -> int

A compilação do Linux não oferece suporte à reprodução de alto-falante, portanto, esses métodos não podem controlar um dispositivo real de reprodução de áudio. fade_ms especifica a duração do fade-out ou fade-in em milissegundos. 0 indica execução imediata.

interrupção_audio_player

def interrupt_audio_player(self, track_type: int, fade_ms: int = 0) -> int

Interrompe a sessão de áudio atual.

Configuração de codificação de áudio

def set_audio_encoder_config(self, config: AoqAudioCodecConfig) -> int
def set_audio_decoder_config(self, config: AoqAudioCodecConfig) -> int

Gerenciamento de dispositivos de vídeo

def start_video_capture(self, config: AoqVideoCaptureConfig) -> int
def stop_video_capture(self) -> int
def set_local_view(self, track_type: int, canvas: Optional[AoqVideoCanvas]) -> int
def set_remote_view(self, track_type: int, canvas: Optional[AoqVideoCanvas]) -> int

A versão Linux não oferece suporte à captura de câmera e não possui back-end de renderização de vídeo. Quando você liga start_video_capture, definir is_external para True e forneça frames ligando para push_external_video_frame. set_local_view, set_remote_viewe AoqVideoCanvas.view não têm efeito real no Linux. Para visualizar o vídeo, obtenha quadros por meio de um retorno de chamada de quadro de vídeo e renderize-os você mesmo.

Codec de vídeo e entrada externa

def set_video_encoder_config(self, config: AoqVideoCodecConfig) -> int
def set_video_decoder_config(self, config: AoqVideoCodecConfig) -> int
def push_external_video_frame(self, frame: AoqVideoFrame, track_type: AoqTrackType = AoqTrackType.VIDEO) -> int
def push_external_video_encoded_frame(self, track_type: AoqTrackType, frame: AoqVideoEncodedFrame) -> int

Notas:

• Para set_video_decoder_config, apenas os campos track_type/codec_type/width/height/fps/bitrate entram em vigor.
• push_external_video_frame é consumido somente após start_video_capture(is_external=True). Para formatos compactados (NV12/NV21/BGRA/RGBA), preencha frame.data; para os três aviões I420, preencha frame.data_y/u/v e a passada correspondente. Se o buffer estiver cheio, ele retornará AoqErrorCode.VIDEO_EXTERNAL_BUFFER_FULL(210).
• push_external_video_encoded_frame requer start_video_capture(is_external=True) e set_video_encoder_config(codec_type=VIDEO_JPEG) e segue o caminho de desvio sem recodificação.

Controle de fluxo de mídia

def enable_send_media_stream(self, track_type: AoqTrackType, enable: bool) -> int

Após a inicialização, desative o envio separadamente para cada faixa necessária chamando enable_send_media_stream(AoqTrackType.AUDIO, False) e enable_send_media_stream(AoqTrackType.VIDEO, False) conforme necessário. Depois que on_connection_status_change(CONNECTED) for recebido, habilite cada faixa em uma chamada separada.

Reprodução de arquivo de áudio

def start_audio_file(self, file_id: str, config: AoqAudioFileMixConfig) -> int
def stop_audio_file(self, file_id: str) -> int
def pause_audio_file(self, file_id: str) -> int
def resume_audio_file(self, file_id: str) -> int
def get_audio_file_duration(self, file_id: str) -> int
def get_audio_file_current_position(self, file_id: str) -> int
def set_audio_file_position_millis(self, file_id: str, position_ms: int) -> int
def set_audio_file_volume(self, file_id: str, type_: AoqAudioStreamDirection, volume: int) -> int
def get_audio_file_volume(self, file_id: str, type_: AoqAudioStreamDirection) -> int

Fluxos de áudio externos

def add_audio_external_stream(self, stream_id: str, config: AoqAudioExternalStreamConfig) -> int
def remove_audio_external_stream(self, stream_id: str) -> int
def push_audio_external_stream_data(self, stream_id: str, data: AoqAudioFrameData) -> int
def set_audio_external_stream_volume(self, stream_id: str, type_: AoqAudioStreamDirection, volume: int) -> int
def get_audio_external_stream_volume(self, stream_id: str, type_: AoqAudioStreamDirection) -> int
def clear_audio_external_stream_buffer(self, stream_id: str, fadeout_ms: int = -1) -> None

Quando o buffer está cheio, push_audio_external_stream_data retorna AoqErrorCode.AUDIO_EXTERNAL_BUFFER_FULL(110). Recomendamos que você espere cerca de 20 ms e tente novamente o mesmo quadro.

Mensagens em tempo real

def send_data_msg(self, msg: AoqDataMsg) -> int

Retornos de chamada de quadro de áudio

def set_audio_frame_observer(self, observer: Optional[IAudioFrameObserver]) -> int
def enable_audio_frame_observer(self, enabled: bool, audio_source: AoqAudioSource, config: AoqAudioObserverConfig) -> int

Passe None para set_audio_frame_observer para cancelar o registro do observador.

Retornos de chamada de quadro de vídeo

def set_video_frame_observer(self, observer: Optional[IVideoFrameObserver]) -> int
def enable_video_frame_observer(self, enabled: bool, video_source: AoqVideoSource, config: AoqVideoObserverConfig) -> int

Passe None para set_video_frame_observer para cancelar o registro do observador.

Interfaces de retorno de chamada

AoqEngineEventListener

Classe base para retornos de chamada de eventos do mecanismo. Todos os métodos são substituições opcionais com implementações vazias padrão. Os retornos de chamada são acionados em threads nativos e você mesmo deve garantir a segurança do thread.

class AoqEngineEventListener:
    def on_error(self, code: int, message: str) -> None: ...
    def on_connection_status_change(self, status: AoqConnectionStatus) -> None: ...
    def on_data_msg(self, msg: AoqDataMsg) -> None: ...

ativado_erro

def on_error(self, code: int, message: str) -> None

Retorno de chamada de erro do mecanismo. código corresponde a um valor enum AoqErrorCode.

on_connection_status_change

def on_connection_status_change(self, status: AoqConnectionStatus) -> None

Retorno de chamada de alteração do status da conexão. Transições de estado: DISCONNECTED -> CONNECTING -> CONNECTED/FAILED -> DISCONNECTED.

em_data_msg

def on_data_msg(self, msg: AoqDataMsg) -> None

Retorno de chamada para uma mensagem de dados em tempo real recebida.

####IAudioFrameObserver

Classe base para ouvintes de dados de quadros de áudio. Todos os métodos são substituições opcionais com implementações vazias padrão.

class IAudioFrameObserver:
    def on_captured_audio_frame(self, data: AoqAudioFrameData) -> None: ...
    def on_process_captured_audio_frame(self, data: AoqAudioFrameData) -> None: ...
    def on_publish_audio_frame(self, track_type: AoqTrackType, data: AoqAudioFrameData) -> None: ...
    def on_playback_audio_frame(self, data: AoqAudioFrameData) -> None: ...

O retorno de chamada é acionado no thread de áudio nativo. Não execute nenhuma operação demorada nele. AoqAudioFrameData.data já é uma cópia de bytes e pode ser usada de forma assíncrona com segurança.

IVideoFrameObserver

Classe base para ouvintes de dados de quadros de vídeo. Todos os métodos são substituições opcionais e retornam False por padrão.

class IVideoFrameObserver:
    def on_captured_video_frame(self, track_type: AoqTrackType, frame: AoqVideoFrame) -> bool: ...
    def on_pre_encode_video_frame(self, track_type: AoqTrackType, frame: AoqVideoFrame) -> bool: ...
    def on_remote_video_frame(self, track_type: AoqTrackType, frame: AoqVideoFrame) -> bool: ...

O retorno de chamada é acionado no thread de vídeo nativo. Não execute nenhuma operação demorada nele. Os dados de pixel no quadro já são uma cópia de bytes. A camada Python atualmente usa semântica de cópia e não oferece suporte para gravação de modificações, portanto, recomendamos que você sempre retorne False.

Funções utilitárias

carregar_biblioteca

def load_library(path: Optional[str] = None) -> ctypes.CDLL

Carrega a biblioteca compartilhada nativa. Normalmente você não precisa chamar esse método manualmente, porque a biblioteca é carregada automaticamente quando você usa o mecanismo pela primeira vez. Se o caminho estiver vazio, libAoqClientSdk.so é pesquisado na seguinte ordem: o AOQ_CLIENT_SDK_LIB variável de ambiente, o diretório do módulo, o diretório lib no mesmo nível e os caminhos padrão do sistema. Se o carregamento falhar, um OSError será lançado. Uma causa típica é que uma biblioteca dependente não está em LD_LIBRARY_PATH.

Tipos de dados e enumerações

Todos os tipos de dados são classes de dados Python. Você pode construí-los diretamente e atribuir valores aos campos.

Tipos gerais

AoqCreateConfig

AoqConnectConfig

AoqRelayEndpoint

AoqTrackParam

AoqDataMsg

Enumerações

AoqErrorCode

AoqConnectionStatus

AoqTrackType

AoqEncoderType

AoqMirrorMode

AoqOrientationMode

AoqRenderMode

####AoqVideoPixelFormat

AoqCameraDirection

Tipos de áudio

AoqAudioCaptureConfig

AoqAudioPlaybackConfig

AoqAudioCodecConfig

AoqAudioFileMixConfig

AoqAudioExternalStreamConfig

AoqAudioFrameData

Dados de áudio brutos, que são usados ​​para entrada externa ou retornos de chamada do observador.

AoqAudioObserverConfig

AoqAudioStreamDirection

AoqAudioExternalStreamToggle

AoqAudioSource

AoqAudioObserverMode

Tipos de vídeo

AoqVideoCaptureConfig

AoqVideoCodecConfig

Parâmetros do codec de vídeo, que são compartilhados por codificação e decodificação. Para decodificação, apenas track_type/codec_type/width/height/fps/bitrate entram em vigor e os outros campos são usados ​​apenas para codificação.

####AoqVideoCanvas

AoqVideoFrame

Quadro de vídeo externo ou dados de retorno de chamada de quadro de vídeo. Ao usar um formato compactado (NV12/NV21/BGRA/RGBA), preencha os dados. Ao usar os três planos I420, preencha data_y/u/v e a passada correspondente. Os dois métodos são mutuamente exclusivos.

AoqVideoEncodedFrame

Um quadro de vídeo codificado externamente, como um quadro JPEG.

AoqVideoObserverConfig

AoqVideoSource

AoqVideoObserverMode

AoqVideoObserverAlignment