Android平台实现VR头显Unity下音视频数据RTMP推送

随着技术的飞速发展，虚拟现实产业从探索期逐步迈向高速发展期。2020年起，5G时代的到来为大带宽、高可靠、低延迟的网络环境提供了有力保障。虚拟现实在工业互联网、虚拟仿真、文旅文博、智慧交通、智慧能源、智慧医疗、智慧校园、智慧农业等场景中展现出了巨大的应用价值。同时，行业对清晰度、流畅性和交互感的要求也越来越高。本文以Android平台的采培岁集推送为例，介绍基于头显或类似终端的低延迟解决方案。大多数头显设备基于Android平台，本文以Unity环境下的窗体采集、麦克风和Unity内部音频采集为例，介绍具体实现思路。音频采集可分为：采集麦克风、采集Unity音频、麦克风和Unity音频混音、2路Unity音频混音。采集到的音视频原始数据，分别投递到Android原生封装的模块进配知睁行编码、打包，通过RTMP传输到服务端，实现毫秒级延迟的RTMP直播方案。音频采集部分，分为单独采集和混音。如需采集麦克风，记得动态获取麦克风权限。页面比较粗糙，以下是音频采集类型定义：1. 基础初始化：主要完成与Android封装层的拉通和Audio权限动态检测。2. OpenPusher实现：调用底层模块的Open接口，创建推送实例，并返回推送句柄。如只需推送纯音频或纯视频，也可通过NT_PB_U3D_Open()接口做相关设定。3. InitAndSetConfig具体实现：主要完成SDK的一些参数设定工作，如软、硬编码设定、码率设定、音频采集类型、视频帧率、码率设置等。4. Push()封装：获取推送实例句柄后，设置推送参数和RTMP URL，采集音视频数据，推送到RTMP服务。如需推送麦克风，启动麦克风，并设定采样率和通道数。如需混音：2. 停止推送：停止推送之前，如采集AudioSource或麦克风数据，先停掉后再调用NT_PB_U3D_StopPublisher()即可。如无其他录像等操作，接着调用猛冲NT_PB_U3D_Close()和NT_PB_U3D_UnInit()接口，并置空推送实例。6. 数据采集：摄像头和屏幕的数据采集，调用Android原生封装的接口。如果需要采集Unity窗体的数据，可以参考以下代码：从texture中获取原始数据。如需采集Unity的AudioClip数据：7. 数据对接：Unity的视频数据，获取到Texture数据后，通过调用NT_PB_U3D_OnCaptureVideoRGBA32Data()接口传递给SDK层。如果是Unity的AudioClip采集的数据，调用NT_PB_U3D_OnPCMFloatArray()传递给封装模块。8. 相关event回调处理。如果需要头显端采集实时数据，可以参考上述写法，获取到Texture数据和AudioClip数据，直接将数据投递到Android封装的底层模块。底层模块实现数据的编码、打包按协议规范发送。感兴趣的开发者也可以参考针对Android模块做的二次接口封装，然后自行参考尝试。