基于IP公网的融合媒体直播的探索与实践_林凡.pdf

广播与电视技术 2023年 第50卷 第2期34内容制播 Content Production&Broadcasting基于IP公网的融合媒体直播的探索与实践【摘 要】浙江广播电视集团借着数字化改革成果展的东风，探索进行了基于IP公网的远程制作的常态化直播。本文以融合媒体直播为例，探讨了远程制作的系统需求和链路保障，以及图像质量、时延量、跨屏同播等相关内容。【关键词】远程制作，公网，通话，Tally，图像质量，时延，跨屏【中图分类号】TN948.13 【文献标识码】B 【DOI编码】10.16171/ki.rtbe.20230002005【本文献信息】林凡.基于IP公网的融合媒体直播的探索与实践J.广播与电视技术，2023,Vol.50(2).Exploration and Practice of Converged Media Live Broadcasting Based on IP Public NetworkLin Fan(Zhejiang Radio and Television Group,Zhejiang 310000,China)Abstract Taking advantage of the digital reform achievements exhibition,Zhejiang Radio and Television Group has carried out the normalized live broadcast of remote production based on IP public network.Taking this converged media live broadcast as an example,this paper discusses the system requirements and link guarantee of remote production,as well as picture quality,latency,cross screen simulcast and other related contents.Keywords Remote production,Public network,Intercom,Tally,Image quality,Latency,Cross screen林凡(浙江广播电视集团，浙江 310000)0 引言为全方位展示我省数字化改革成果，进一步营造全省一体推进、比学赶超的数字化改革浓厚氛围，浙江省数字化改革成果展于 2022 年初举办。展览以建设“数字浙江”为目标，聚焦高质量发展、竞争力提升、现代化先行和共同富裕示范，通过数字化理念、数字化技术完整再现一年来数字化改革历程，多角度展示我省数字化改革成果，推动数字化改革向纵深发展，生动展现数字化改革带来的全省各领域各方面系统性深刻变化和人民群众的获 得感。浙江广播电视集团在浙江省档案馆设置了“浙里直播”的云上直播办事窗口，以交警直播帮栏目为实际展示场景，由政务主播团队现场为广大网友在线答疑，同时通过远程制作的方式将档案馆和演播室的信号进行实时融媒直播，完美契合了数字化的主题和呈现方式，获得了省领导和省两会代表们的一致认可。1 项目方案1.1 系统需求本次融媒直播以演播室端作为控制中心，包含 4 路摄像机信号和 2 路投屏信号，前方档案馆 4 路摄像机信号加嵌音频通过编码器远程回传。如图 1 所示，档案馆和演播室都需实现摄像机竖屏画面的监看和主要人员间的语音沟通，包括现场摄像机采用竖拍板方式旋转 90 度取景，现场工作人员通过手机拉流实时监看播出画面，演播室屏墙需旋转 90 度，通过编解码器一体化传输内通音频，推流机需支持 90 度翻转竖屏直播等。在网络方面，编解码两端都需要提供主路和备路各上下行百兆带宽专线保证，主备路均提供至少 2 个接入主备交换机的公网 IP 地址。网络传输协议应有效对抗公网网络波动，能提供包括综合前向纠错能力、链路带宽预测和实时监测能力、数据复用和解复用能力在内的各种功能，并能将暴露在公网中的风险降到最低，具有端口加密、信息加密、白名单广播与电视技术 2023年 第50卷 第2期35Content Production&Broadcasting 内容制播 访问、漏洞扫描等安全手段，确保重要保障期间的信号传输安全。1.2 技术创新节目跨度时间长，需要实时传输包括档案馆现场的画面、主持人和嘉宾的声音、导播和主持人间的通话指令、摄像机的切换 Tally 等，按照传统的制作方式这些必须是由转播车或卫星车来完成，但如果使用便携式的远程制作设备可以借助公网轻松完成系统的搭建。目前横竖屏转换主要有旋转和裁切两种手段，只播出竖屏时选择旋转无疑是最好的，但如果横竖屏同播则需要采取丢弃部分画面或者两套拍摄设备等方式。以境界指代分辨率，对于同境跨屏同播来说，无论是在制作域还是播出域进行裁切都会有问题，除非跌境播出，超境跨屏同播可以在低成本、高质量的前提下实现同一套广播级设备的横竖屏同播。在保证节目既定效果的前提下，还在演播室中进行了闭环测量远程传输链路上图像质量的损失、时延量的大小、衡量电视端、手机端的播出效果等，实现传统局域网环境下的指标测量或者服务质量保障。2 链路保障2.1 视音频链路对需要重点保证的视音频信号传输，规划了有线传输的Matrox 编码器（SRT）和无线传输的 TVU 移动背包（ISSP）作为主备链路。SRT 协议使用了改进后的 ARQ（自动重传请求）技术、设定接收端和发送端的缓冲区大小（Latency）、封装精准时间戳等技术，能够很好地解决公网环境下的随机丢包和抖动问题，通过不同缓冲区大小设置带来差错控制机制和更高的安全等级，实现低时延、高质量的视音频信号端到端的稳定传输。TVU 使用 5G/4G 网络进行多网聚合（IS+）传输，将多路信号整合并通过一个固定的信道发送，将一个单一的信号源通过反向复用多个信道用于传输，然后在接收端重新聚合。一组 Matrox 编解码器可以同时传输 4 路 HD-SDI 信号，两个 TVU 发射背包对应一个接收机。4 路摄像机的视频信号加嵌音频再经过视分后给到主备链路，通过编码、封装之后成为 IP 数据包进行网络传输，经由 Matrox 解码器和 TVU接收机分别将流格式转换为信号格式，再跳线进入帧同步器X85 解出视频和音频分别处理。视音频传输链路图如图 2 所示。需要注意的是，主备路视音频能够做到相对各自声画同步，但如需切换视频则需保证音频同步进行切换，否则会出现明显声画不同步。X85 在使用帧同步功能的基础上需要进行音频解嵌的设置，由于使用的均是模拟通路，需将 AA Out1/2/3/4 分别选择 SRC1a/1b/5a/5b，这样即可将一台 X85 包含的 4 个 ch 分别送给调音台。从传输链路可以看出，考虑低时延和通话即时性，以图1 远端现场和演播室端图2 视音频传输链路无线话筒1摄像机1摄像机2摄像机3摄像机4MATROX编码器TVU 发射机1TVU 发射机2TVU发射机3TVU 发射机4MATROX解码器TVU 接收机1TVU 接收机2帧同步1帧同步2帧同步3帧同步4调音台主调音台备无线话筒2无线话筒3无线话筒412341234CH 1+2CH 3+4CH 1+2CH 3+4CH 3+4CH 1+2CH 1+2CH 3+4广播与电视技术 2023年 第50卷 第2期36内容制播 Content Production&BroadcastingMatrox 的传输通路作为主链路，音频使用主调音台的音源；当主链路出现问题时，视频和音频都需切换到备链路上，用 TVU 回传的视频和音频进行播出；当摄像机或者话筒出现问题的时候，因为有多个接收机和备份设备，可以直接切换备份的视频源或音频源，实现受众无感的无缝 切换。2.2 辅助链路视音频和 Tally/Intercom 信号聚合在编解码器中进行传输，但是走的不同传输协议，其中 Tally 信号使用 HTTP 协议和 443 端口（TCP），Intercom 信号使用 RTSP 协议和 3049端口（UDP）。辅助信号传输链路如图 3 所示。切换台第一个 Tally 并口输出作为演播室现场 CCU 的指示灯用，额外的 Tally 输出使用 Kahuna Tally13-24 口的13/14/15/16（第二排 25 芯），对应 Kahuna GUI 上 GPIO out 13/14/15/16 选 择 EXT1/2/3/4（input23/24/25/26），切 换 台GPIO out 通过转接线连接解码器 Tally in，通过网络传输给到编码器，编码器连接无线 Tally 基站，再发送给提前匹配好的无线 Tally 灯。通话矩阵 Cronus 使用第 18 个 RS422 串口，AZ 上配置导播通话面板上对应的通讯按钮（M），热备的另一组编解码使用通话矩阵第 19 个串口，相应导播面板和其他面板设置备份通话（B），档案馆现场通过无线通话基站实现和演播室的通讯，现场主持人或摄像通过无线腰包上的耳返或者耳机实现听或说的功能。无线通话系统还支持分组通话，比如发射端是耳机接口，可以做一根耳机孔到通话腰包的卡侬转接线，接收端是 USB 或 PL 接口，也可以做一根从相应接口到系统内通话矩阵的转接线，理论上都可以实现双向的 听和说。应急通话使用 Vlink 或直接手机通讯。VLink（Virtual Link Intercom）是一个支持远程用户使用 RTS 内部通信系统矩阵接口的互联网应用软件，Vlink 服务器通过外置声卡与通话矩阵互联，本身相当于一个虚拟矩阵，Vlink 服务器使用独立于编解码的公网地址或者映射地址（NAT），远端使用方式为手机应用，APP 的登录用户名、密码、Vlink 服务器地址、接口设置、音频编解码均在 VLink Virtual Matrix、VLink System Administration、VLink Device Interface 三个软件中进行设置。3 服务质量3.1 图像质量图像质量的测量主要集中在数字视频的应用层，包含客观指标、图像质量主观评价的客观化测试、主观评价三类。PQA 提供了一种快速的、实用的、可重复的客观测量，用它来代替主观 DMOS 评估，是一种全参考（FR，Full-Reference）图像质量测量。PQA 采用两个视频文件作为它的输入：一个文件是原始的参考视频序列，另一个文件是该参考视频序列经过压缩、损伤后或经处理过的测试序列。PQA首先使这两个视频序列在空间域和时间域中对准，在这一过程中无需使用嵌入在视频序列中的校正数据，然后仪器对基于人类视觉系统（HVS）和提示模型（attention models）图3 通话/Tally传输链路交换机交换机切换台脑电脑电解码器GPIOVlink无线tally灯StudioOutsideLANLAN调音台LANLAN通话矩阵编码器无线基站摄像机无线腰包声卡解嵌视频音频GPIO视频音频人声人声人声人声音频移动终端无线话筒广播与电视技术 2023年 第50卷 第2期37Content Production&Broadcasting 内容制播 的测试视频的质量进行分析，分别经过格式转换、显示模式、观看模式，再经过人类视觉/感知模式、认知的/提示模式，最后进行基于任务的综合测量，输出与主观评测高度相关的质量测量结果。这个测量结果包括总的图像质量累计度量值、逐帧的测量度量值以及每帧的损伤映射图示，例如基于人类视觉模型的 PQR（图像质量比）。PQA 也可以提供传统的图像质量测量结果，例如 PSNR（峰值信噪比），以此作为测量典型视频损伤和失真检测的基准损伤诊断 工具。如图 4 所示，可以将国标参考序列（.yuv）提前从 PQA设备输出给蓝光/EVS 等存储介质（.m2ts/.mxf）或者拥有YUV 格式采集播放功能的非编设备，再拿到远程制作的远端进行播放，信号经过编