基于声谱图的广播信号可视化监测研究_赵翠.pdf

广播与电视技术 2023年 第50卷 第2期118安全播出与监测监管 Safe Broadcasting&Monitoring and Supervision基于声谱图的广播信号可视化监测研究【摘 要】本文主要采用声谱图特征，对广播音频信号进行可视化监测研究，通过实验分析，音频声谱图对广播实时监测能起到有效的保障作用，同时根据声谱图的有效特征参数，我们还能衍生出其他多类型的监控界面，丰富了监测内容，具有一定的实用性。【关键词】广播信号，声谱图，信号监测，可视化，音频【中图分类号】TN931 【文献标识码】A 【DOI编码】10.16171/ki.rtbe.20230002023【本文献信息】赵翠.基于声谱图的广播信号可视化监测研究J.广播与电视技术，2023,Vol.50(2).Research on Broadcasting Signal Visual Monitoring Based on SpectrogramZhao Cui(Zhejiang Medium-wave Transmission and Management Center,Zhejiang 310000,China)Abstract Based on the video spectrogram,this paper makes a study on the visual monitoring of broadcasting audio signals.Through experimental analysis,it is found that an audio spectrogram is useful in the real-time monitoring of broadcasting signals.Meanwhile,according to the effective characteristic parameters of the spectrogram,we can also derive other types of monitoring interfaces,which have enriched the monitoring content and have certain practicability.Keywords Broadcasting signal,Spectrogram,Signal monitoring,Visualization,Audio赵翠(浙江省中波发射管理中心，浙江 310000)0 引言广播信号的可视化，对于广播的日常监测工作而言是一种非常有效且便利的方式。在传统的广播信号监测中，我们通常采用实时音频帧信号的幅值或对数值生成的条柱进行实时监测，该监测画面简单明了，尤其是在监测信号是否丢失或音频能量大小等方面非常直观，在广播信号监测中的应用十分广泛。声谱图是在音频信号处理中具有重要实用价值的一种时频图，它能有效地反映出音频的频率及能量分布，具有信息全面、显示清晰等特点，被认定为音频信号的可视语言，其在音频识别、声纹鉴定、聋人训练、音频编码等方面具有重要的研究意义。本文主要采用声谱图特性，对广播信号的可视化监测进行分析研究。一般我们人耳能听到的音频信号的频率范围在 20Hz 20kHz 之间，其中语音信号的频率范围一般在 300Hz 3400Hz 之间,而音乐及其他自然声响是全范围分布的。广播音频的信号主要包括语音及音乐信号，两者之间的频谱有较为明显的差别。本文采用的声谱图监测，除监测信号的大小、是否丢失之外，还可以对信号类别大致区分进行内容监测，既保障了广播信号的实时监测功能，也丰富了广播信号可视化形式。1 音频的声谱图生成声谱图是音频随着时间变化的频谱图，它是包含时间、频率、能量三个维度的图像，图 1 是音频的声谱图生成步骤，把时域音频信号通过离散傅立叶变换、小波变换等变换成频域信号，计算对应频率的音频能量，生成关于时间的 频谱图。假设一段数字音频信号 x，其采样频率为 fs，采用窗 函数进行分帧处理，得到短时平稳的音频帧信号12(),(),.,()imxx n xnxn210X()()01，sf knNjNiinkex nkN12(),(),.,()imxx n xnxn210X()()01，sf knNjNiinkex nkN，然后经过时频变换（本文采用快速傅立叶变换 N-FFT）得到频域信号：广播与电视技术 2023年 第50卷 第2期119Safe Broadcasting&Monitoring and Supervision 安全播出与监测监管210X()()01，sf knNjNiinkex nkN=式中，=2()X()iiP kk=()20lg X()iiP kk=是音频短时帧信号 xi的短时幅度谱，可以采用幅度的平方或对数计算频谱能量：2()X()iiP kk=或()20lg X()iiP kk=得到了时间、频率、能量三者的关系后，我们就可以生成声谱图。图 2 所示为某一音频信号波形图，以及利用MATLAB 的 spectrogram 函数将其生成声谱图。其中，该音频采样频率为 8000Hz，时长为 5s，窗函数采用汉明窗，帧长取 200 点，帧移设为帧长的 50%，采用 512 点 FFT。图 2 右所示声谱图其横坐标为时间，纵坐标为频率，坐标点显示的颜色代表音频能量值，能量值越大颜色越深。从图中可以看出声谱图是随着音频信号的改变而实时发生颜色变化的。2 广播音频信号可视化本文主要通过声谱图分析，使得广播信号可视化界面，不仅能有效可靠地完成广播安全播出的实时监测任务，还能粗略区分信号的类型，进一步保障安全的同时也使得可视化的界面更丰富。声谱图是反映时间、频率和能量三者之间关系的一种音频图形，不仅可以简单直观地判别出大致的音频类别，还可以根据声谱图相关数据生成更多样、更有意义的可视化音频界面，使音频监测画面更丰富。由于广播信号的监测是实时的，本文选取一段采样率为 44.1kHz 的语音信号，帧长设为0.2s,取 50 帧信号，提取每帧信号对应的时间、频率和能量数据，通过画图函数展现音频声谱图的可视化界面，同时将其与传统的广播信号实时监测的音频能量条柱画面进行比较，如图 3 所示。图 3 左为音频能量条柱，横坐标为时间，纵坐标为能量，可以看出随着广播信号的变化，音频能量条柱产生高低的变化，其监测画面非常直观，且能明显显示信号是否丢失，但除此之外的音频信息几乎无法获得。图 3 右为音频声谱图，横坐标为时间，纵坐标为频率，每一帧信号对应一条声谱图，颜色代表能量值，能量越大则颜色越红，能量越小则颜色越蓝，当广播无信号时对应的声谱图是全蓝色的，与图 3 左相比较，可以清晰看到两者的音频图1 音频的声谱图生成框图图2 一段音频信号波形图及其声谱图数字音频信号加窗分帧频域变换能量谱计算伪彩色图像处理生成声谱图0123450.10.0500.050.1Time(s)Frequency(Hz)波形图Time(s)Frequency(Hz)声谱图01234501000200030004000广播与电视技术 2023年 第50卷 第2期120安全播出与监测监管 Safe Broadcasting&Monitoring and Supervision能量分布是一致的，能量条柱高的广播音频帧信号对应的声谱图的颜色越红。虽然随着信号改变，每帧声谱图的条柱高度不变，但是其颜色会实时改变，信号是否丢失只需根据颜色深浅判定即可。另外，因为此广播音频为语音信号，所以能量基本分布在低频段，且存在较为明显的能量 间隔。另外，我们可以根据声谱图相关信息，生成更丰富多样的音频监测画面。图 4 所示为选取的一段时长为 2s、采图3 左为语音音频能量条柱，右为语音音频声谱图图4 音频信号三维图00.20.40.60.811.21.41.61.820500100015002000250030003500400001234567时时/s频频/Hz频声频频123456广播与电视技术 2023年 第50卷 第2期121Safe Broadcasting&Monitoring and Supervision 安全播出与监测监管样率为 8kHz 的音频信号，提取其时间、频率和频谱幅度分别作为 x、y、z 轴所生成的三维图。从图中可以看到音频信号随着时间变化，频谱能量不仅会反映在高度的变化上，其颜色也会发生相应变化，对音频的实时监测更直观清晰。其中，图 4 右侧的 colorbar 可以自定义设置颜色及对应的能量段，经过研究可以设计出更适宜人眼监测的广播音频 画面。3 不同信号的声谱图比较广播音频信号主要包括语音、纯音乐及音乐信号等，本文分别对以上三种广播信号进行声谱图分析比较。选取两组采样频率分别为 16kHz 和 44.1kHz 的不同内容的音频信号，每组三段信号分别为语音、纯音乐、音乐信号，进行声谱图比较，如图 5 所示。从图中可以看出，六段不同内容的音频信号所对应的声谱图都不尽相同，然而不同类型的音频信号有其各自的特点。语音信号由于不同的咬字发音、停顿、频率范围等因素，其声谱图的连续性较差，且频谱能量较为集中；而纯音乐声谱图具有一定的连贯性和周期性，且频谱能量的范围更广；音乐信号因为具有纯音乐及语音，在声谱图上具有前两者的特点。因此根据声谱图，我们在播出监测过程中大致区分信号的类型，相较之前简单的音频光柱界面，声谱图能反映更多的信息，从而有助于提升监管 能力。图5 不同音频信号声谱图（图左为16kHz，图右为44.1kHz）频频/Hz语音信号10.511.522.533.544.502000400060008000频频/Hz纯音乐信号10.511.522.533.544.502000400060008000时时/s频频/Hz音乐信号10.511.522.533.544.502000400060008000频频/Hz语音信号2123456012x 104频频/Hz纯音乐信号2123456012x 104时时/s频频/Hz音乐信号2123456012x 1044 结束语本文主要研究了基于声谱图的音频信号可视化，针对传统的广播信号监测画面，本文提出的音频可视化，音频信息更丰富，画面也更多样，为广播监测提供了另一种方式。由于声谱图存在频谱变换的过程，所以与传统音频条柱相比，处理算法会更复杂一些，但是，音频可视化若只用作监测，在算法软件实现上基本不存在时间上的延时。另外，作为广播监测画面，本文提出了基于声谱图的广播信号可视化的可能性及其优缺点，后期还需要在监测画面的舒适美观、稳定可靠、有效警醒、快速识别等多方面作进一步的研究。参考文献：1 白燕燕,胡晓霞.基于MATLAB语谱图的声乐研究J.软件工程,2019,22(9):1-4.2 裴雷雨.基于声音信号可视化特征融合的工程器械噪声识别算法研究D.杭州:杭州电子科技大学,2019.3 李英杰.基于声谱图的音频事件检测特征提取研究D.北京:北京邮电大学,2017.4 张桦,苏洪.基于音频指纹的广播电台内容监测识别技术J.西部广播电视,2020,41(17):175-177.5 白珈郡.语音信号可视化的方法研究D.沈阳:东北大学,2015.第一作者简介：赵翠（1987），女，浙江省中波发射管理中心工程师，硕士。主要从事广播技术工作。