MIDI控制在音乐类演出中的应用——以武侠国风音乐会《武侠琴缘》为例.pdf

演艺科技 ENTERTAINMENT TECHNOLOGY1Au d i o a n d V i d e o I n t e g r at i o n技术交流音视频集成2022年6月，武侠国风音乐会武侠琴缘作为南京国乐节中的重头戏在江苏大剧院上演。音乐会将耳熟能详的旋律，融合进民乐、交响、流行、摇滚、电子等音乐种类，由南京民族乐团担任主奏乐队，兼有琵琶、唢呐、笙等独奏；同时，现场除音乐外，还有影像、灯光、舞蹈、沙画、演唱等多维度舞台艺术共同呈现，如图1所示。这已不是传统音乐厅类型的音乐会了，节目类型包含乐团演奏和乐器独奏合奏等表演形式，考虑到舞台灯光、投影机等舞美设施噪声的影响，扩声是必然的选择。以下笔者基于武侠国风音乐会武侠琴缘扩声系统的功能要求，阐述扩声系统解决方案及同步控制方式，重点解析调音台、播放器、灯光控制台MIDI控制中的传输实现。MIDI控制在音乐类演出中的应用以武侠国风音乐会武侠琴缘为例徐在坤（南京民族乐团，江苏 南京 210005）【摘 要】基于武侠国风音乐会武侠琴缘扩声系统的功能要求，阐述扩声系统解决方案及同步控制方式，重点解析调 音台、播放器、灯光控制台MIDI控制中的实现，以及难点问题的解决。【关键词】扩声系统；MIDI控制；同步控制；调音台；播放器；灯光控制台DOI：10.3969/j.issn.1674-8239.2023.02.001Application of MIDI Control in Music Performances-Taking the Wuxia Chinoiserie Concert Wuxia Qinyuan as an ExampleXU Zaikun(Nanjing Chinese Orchestra,Nanjing Jiangsu 210005,China)【Abstract】Based on the functional requirements of the sound reinforcement system for the Wuxia Chinoiserie Concert Wuxia Qinyuan,this paper elaborates on the solution and synchronous control method of the sound reinforcement system,with a focus on analyzing the implementation of MIDI control in the mixing console,player,and lighting console,as well as solving difficult problems.【Key Words】sound reinforcement system;MIDI control;synchronous control;mixer;player;lighting control console图1 武侠国风音乐会武侠琴缘多种艺术形式的呈现2023年第2期 总第195期 季刊演艺科技 ENTERTAINMENT TECHNOLOGYNo.2 2023 Quarterly No.1952图3 排练厅的系统搭建1 扩声系统的基本功能南京民族乐团团长兼指挥戴音和音乐总监李劭晟对扩声的呈现提出了非常高的要求，经前期策划沟通会后，最终确定扩声系统的基本功能。1）根据总谱，确定传声器通道的Automation（参数自动化）。2）环绕声效果跟随Timecode（时间码）定位。3）节拍器、报号等主备素材多轨播放。4）同 步 触 发 第 三 方 设 备 的Cue：（1）Timecode；（2）MIDI C o n t r o l（M I D I 控 制）；（3）OSC（Open Sound Control控制协议）。5）个性化监听：（1）指挥监听（排练时）；（2）乐手监听。2 系统解决方案根据系统需要实现的功能需求再寻找解决方案就是一件容易的事情了，音响团队仔细讨论后做了系统配置，如图2所示，以及同步控制方案。2.1 系统配置1）Allen-Heath dLive数字调音台作为扩声系统核心，在Monitor（监听）工位配备1个DM64基站，拓展1个DX168流动接口箱在Stage Right（上场门）车台上，服务固定乐手通道。2）FOH（或称PA，扩声区域）扩声调音台使用S5000控制，Monitor调音使用Director软件+iPad控制；二者使用2套独立的Pre Fader Listen（PFL，推子前监听）总线，确保Monitor音响师在做Cable Check（电缆检测）、监听 Aux总线这些工作时PFL信号不改变FOH控台调音师的监听。3）使用Qlab播放软件，在排练厅模拟剧场声学环境搭建扬声器系统，提前做环绕声音效的Timeline（时间轴）设计，排练厅的系统搭建如图3所示。4）使用FREQ调音台扫频旋钮的双USB控制器同时触发控制加载Qlab的主备电脑；1#机和2#机同时接入Dante网络各自发送25个轨道的音频信号进入扩声调音台的Dante扩展卡，其中，1#机Patch到调音台对应输入通道的A口，2#机Patch到通道的B口。当任意一台安装Qlab的电脑宕机时可一键切换输入源（有些老师会认为1#机和2#机直接占用独立的输入通道更加保险，该方案这样使用主要是因为DSP资源、Group都不够用）。5）Qlab通过Dante协议发送Timecode LTC信号进入扩声调音台系统，在系统内完成信号路由，把LTC模拟信号分发至需要的工位。图2 扩声系统现场配置演艺科技 ENTERTAINMENT TECHNOLOGY3Au d i o a n d V i d e o I n t e g r at i o n技术交流音视频集成6）Qlab发送MIDI命令、OSC实时控制设备。7）13套立体声耳返主机用于乐手监听，通道分配如下：IEM1至IEM5为流动共用通道，给独奏或小合奏节目使用（最多1个小节目是4个类型的乐手），这里使用的是3台PSM1000主机搭配16个P10R腰包，方便乐手提前拿到腰包；IEM6至IEM13为舞台上固定乐手用通道。8）4层返听扬声器用于舞蹈演员返听，以及乐手耳机监听的备份。9）输出总线分配见表1。上述都是很常规的设置，因此不做详细解析。2.2 同步控制演出前1个月在模拟环境下进行了多个系统联动测试。1）扩声调音台可以接收Qlab播放器的MIDI命令，而且是通过100 m网线来接收（在剧场中远离调音台时的表1 输出总线规划序号总线名称用途1STAux1LIEM1_LPSM1k#1_L2STAux1RIEM1_RPSM1k#1_R3STAux2LIEM2_LPSM1k#2_L4STAux2RIEM2_RPSM1k#2_R5STAux3LIEM3_LPSM1k#3_L6STAux3RIEM3_RPSM1k#3_R7STAux4LIEM4_LPSM1k#4_L古筝8STAux4RIEM4_RPSM1k#4_R9STAux5LIEM5_LPSM1k#5_L打击乐*210STAux5RIEM5_RPSM1k#5_R11STAux6LIEM6_L二胡*3_L固定给车台上大乐队12STAux6RIEM6_R二胡*3_R13STAux7LIEM7_L中胡*2_L14STAux7RIEM7_R中胡*2_R15STAux8LIEM8_L高胡*2_L16STAux8RIEM8_R高胡*2_R17STAux9LIEM9_L琵琶*2_L+柳琴*118STAux9RIEM9_R琵琶*2_R+柳琴*119STAux10LIEM10_L中阮*1+大阮*1_L20STAux10RIEM10_R中阮*1+大阮*1_R21STAux11LIEM11_L笙*1_L22STAux11RIEM11_R笙*1_R23STAux12LIEM12_L唢呐*1_L24STAux12RIEM12_R唢呐*1_R25STAux13LIEM13_L音乐总监L演出时给箜篌26STAux13RIEM13_R音乐总监R27MAux1假台口返听*228MAux2中场吊挂返听*229MAux3后场吊挂返听*230MAux4流动返听31STGroup1_L常规乐器Mix_LParallelComp32STGroup1_R常规乐器Mix_R序号总线名称用途33STGroup2_L打击乐Mix_LParallelComp34STGroup2_R打击乐Mix_R35MfxSend1perc.room36MfxSend2band hall37MfxSend3plate38MfxSend4delay39MfxSend5ping pang delay40MfxSend6chorus41MfxSend7infra42MfxSend8plate243SMTX1LMain线阵列L44SMTX1RMain线阵列R45SMTX2L拉声像L46SMTX2R拉声像R47MMTX1台唇补声48SMTX3L超低频L49SMTX3R超低频R50SMTX4L环绕左151SMTX4R环绕右152SMTX5L环绕左253SMTX5R环绕右254MMTX2环绕后55MMTX3环绕顶棚56MMTX457MMTX5Mon对讲扬声器58MMTX6FOH对讲扬声器59PFL2LS5000_Phone口60PFL2R61PFL1LPSM900_LDM64_Phone口62PFL1RPSM900_R63LOB_L64ROB_R环绕声编程很方便）；通过TCP/IP MIDI可以控制推子电平（Fader Level）、静音（Mute）、场景（Scene）调用、辅助发送电平（Aux Send Level）等常用功能。2）MA2灯光控制台可以接收Qlab播放器的MIDI命令调用MA2的Cue或者Marco，Qlab播放器也可以接收MA2发出的MIDI命令播放音乐Cue，但是只能使用DIN-MIDI，就是常用的物理MIDI线，后文会介绍对其测试的情况。3）音频软件（Reaper）、VJ视频软件（Arena）可以接收Qlab发出的OSC命令。4）R e a p e r、A r e n a、M A 2、媒体控制系统（Hirender）、后台LTC时钟都可以接收Qlab发出的-18 dBFS的LTC Timecode时间码，并且Reaper的播放和录音可以跟随Timecode（排练录音以及Virtual Sound Check 非常有用）。2023年第2期 总第195期 季刊演艺科技 ENTERTAINMENT TECHNOLOGYNo.2 2023 Quarterly No.19543 MIDI的控制3.1 MIDI相关知识MIDI协议（Musical Instrument Digital Interface），是电子乐器、合成器等演奏设备之间的一种即时通信协议，用于硬件之间的实时演奏数据传递。MIDI接口有，MIDI OUT、MIDI IN、MIDI Thru三种。其中，MIDI Thru是将收到的数据再传给下一个MIDI乐器或设备，即若干个设备连接的接口。MIDI定义了一个8位的二进制数据流，许多时候使用ASCII码表示十六进制的字符，用于传输和保存（Allen-Heath使用的十六进制）数据。MIDI数据流是由很多信息构成的指令，如图4所示。其中，一个音色库（Bank）最多包含128个乐器音色，音色库可以包含多个；标准控制码（Controller）也是128个，每个控制码的最大变化量128。通用MIDI数据包（Universal MIDI Packet，UMP）包含消息类型、编组和状态值字段，分别标明“用途及通道”、“128个按键旋钮”和“128个层级的力度”。MIDI数据包的第一字节是消息类型，使用8 bit，前面4 bit是定义用途，后面4 bit告诉下一级设备是16（24）个MIDI通道的哪一个，如图5所示。一条MIDI消息通常由数个字节组成，其中第一个字节被称为 STATUS byte（状态字节），其后面跟有数个DATA bytes（数据字节）；STATUS byte 最左边为 1，而 DATA bytes 最左边为 0。举个例子10010000，这里最左边是1说明这是1个STATUS byte，1001在MIDI协议里是告诉接收端这是NOTE ON（键盘上按键按下去的）命令；0000是告诉接收端MIDI通道是1；同理10011111，则是告诉接收端NOTE ON，MIDI通道是16（16 个信道分别从 0000 到 1111）。这个NOTE ON的 STATUS byte后，紧跟着2个DATE bytes：KEY（哪一个键盘音符）和 Velocity（按键力度）。举例说明这2个DATE bytes，00000001 01111111，图4 一个典型的MIDI数据流图5 MIDI数据包中的两个字节表2 dLive调音台可接收的MIDI控制命令控制功能具体内容MIDI控制命令Fader levelsInput,Mix master,FX send,FX return,DCANRPNMutesInput,Mix master,FX send,FX return,DCA,Mute GroupsNote OnSend levelsAux,FX and Matrix sendsSysExDCA assignNRPNInput to Main assign NRPNPreamp-Gain Pitch bendPreamp-Pad,48V SysExName&ColorSysExScene RecallProgram Change PEQ control NRPNHPF controlNRPNMIDI transport MIDI Machine Control(MMC)演艺科技 ENTERTAINMENT TECHNOLOGY5Au d i o a n d V i d e o I n t e g r at i o n技术交流音视频集成第 一 个 字 节 0 0 0 0 0 0 0 1 说 明 这 是 按 下 了 第 2个按键（00000000才是第1个按键），力度是1111111（十进制的128）；同理，01111111 00111111表明按下第128个按键，力度是00111111（十进制的64）。由此可以看出，MIDI传输的并非乐曲本身，而是包含呈现乐曲的各类信息，但并不妨碍演奏现代音乐。3.2 dLive的MIDI控制命令dLive使用TCP/IP接收MIDI信号，其能够接收的MIDI控制命令见表2。对MIDI不熟悉的人，容易被NRPN和SysEx搞得晕头转向，其实并没有那么复杂，图6为Qlab播放软件中的MIDI控制命令列表。如SysEx，可以理解成是MIDI的全局（Global）控制命令，其中的Sys表示这是1个系统级别的控制命令；NRPN，稍微麻烦一点，这个最早是因为Control Change只有128个层次，如果只给Pitch Bend分128个层次的话就显得太粗糙了，为了更加精细的控制，又设计128128=16 384个层次。由于MIDI数据采用十六进制，所以如果去看dLive的MIDI使用说明书会非常抓狂。好在dLive提供了1个CC Translator翻译器，如图7所示，将经TCP/IP接收的数据转换为大家能够直接阅读的十进制。dLive选择了CC Translator模式之后，在Qlab里面就会出现3个MIDI Patch，如图8所示；并出现人性化的编辑状态，比如对通道Mute状态定义，如图9所示；或者对通道Fader绝对位置、控制参数定义，如图10所示。MIDI Thru就是直接转发MIDI命令，具体是什么命令需要人工写入，比如在1分44秒18帧的时候调用Scene41，SysEx命令就是B0 00 00 C0 28，如图11所示，这里的数字就是十六进制，十六进制的28就是十进制的41。4 难点问题的对策1）安全问题MIDI官方介绍，在MIDI文件传输时可以选择TLS/SSL加密连接，先发送第一个登陆信息SysEx：UserProfile,UserPassword，验证通过才能继续执行其他MIDI指令，以保证MIDI的数据安全。图6 Qlab中的MIDI控制命令列表图7 CC Translator翻译器图8 Qlab中的3个MIDI Patch图9 Qlab中通道Mute状态定义图10 Qlab中通道Fader绝对位置定义图11 MIDI Thru发送的控制命令2023年第2期 总第195期 季刊演艺科技 ENTERTAINMENT TECHNOLOGYNo.2 2023 Quarterly No.1956目前dLive1.9版本默认是开启TCP/IP MIDI链接并且没有验证机制，如果开启还要手动先创建Certificate文件。对于整个dLive系统控制网络里的任何设备，只要安装好dLive系统的TCP/IP驱动，就可以给调音台发送命令，甚至是System级别的。现在很多调音师习惯使用iPad通过无线路由器来操控调音台，如果无线路由器没有密码会形成漏洞。2）场景调用在实际使用中发现，dLive调音台的MIDI驱动只能指向DM主机，即使是链接的dLive S5000台面的LAN口，其实也是通过ACE（Audio and Control over Ethernet）网络直通默认192.168.1.70主机。这里会带来一个有意思的事情：通过MIDI调用Fader、Mute等状态，自然没有问题，这些都是直观显示在调音台S5000控制界面上的。通过TCP/IP MIDI调用Scene这一点在dLive系统里面就比较特殊了，在这场演出中发现，通过TCP/IP MIDI调用的Scene并不会在S5000台面上显示箭头标志（可能跟多台面有关系）。下面就以这次演出来说明。对于音色的处理，方锦龙有2首歌曲需要有电阮演奏，电阮通过6.35输出给一个失真单块后经DI进入调音台，彩排时方锦龙觉得失真单块的音色力度不够，这时在dLive的Preamp（前置放大器）里面再调用dLive自己的失真模块和Ping Pang Delay（乒乓延迟）效果。艺人对音色满意之后，就是系统配合的问题了，因为失真单块介入后的电平比Clean（清音音色）大了10 dB，如果不处理进入话放可能会达到峰值（Peak），此时如果音响师手动调节跟不上，巨大的失真音色会把观众吓一跳。针对这一问题的解决方案是：找2个MIDI命令Scene，比如Scene45和Scene46；Scene45保存Clean音色的阮通道的参数，Scene46保存失真单块+dLive失真模块介入的参数（这里主要就是模拟Gain、Delay eFX发送量），Scene45和Scene46只针对阮通道进行filter recall（局部参数调用）。当现场这2首歌曲表演时，只需要针对2首歌曲有失真音色的地方精确设置MIDI命令的发送时间点，dLive就会在后台按时调用Scene46；在阮演奏有Clean音色的地方，自动调用Scene45。最奇妙的地方是，如果足够信赖dLive系统的TCP/IP MIDI，Current Cue List（dLive 的一个自定义场景排序功能）可以只有干净的节目Scene，不用放Sceng45和Sceng46，因为S5000台面上都不会看到Scene45和Scene46的调用，如图12所示，但其实DM64主机那边已经成功调用，音色已经切换成功。由于该场演出是第一次使用dLive系统的TCP/IP MIDI功能，为了以防万一，还是把所有的MIDI调用的Scene命令全部显示出来，但并没有影响MIDI调用速度，为了能看到调用过程，还加入了调用时间（Recall Time）。5 grandMA2灯光控制台的MIDI控制探索5.1 DIN5与以太网的使用现在演出彩排阶段，灯光师会选择把灯光控制台放在剧场观众席中间位置对光，灯光控制台距离Qlab的电脑20 m是很正常的事情。MIDI线使用长度是有限制的，实际使用中5 m是比较理想，有人测试过，使用10 m的MIDI线就会偶发通信故障。grandMA2灯光控制台的MIDI传输可以采用MIDI线，也可以采用以太网（Ethernet）。看似很灵活的选择功能，却走了很多弯路。在mac OS Catalina控制端中设置了以太网MIDI，并选择grandMA2的IP和6004端口，虽然mac OS Catalina显示可以链接上，而且MIDI延迟0 ms，但通过该路径发送MIDI出去，mac OS立即报错没有响应。grandMA开发者在官方说明书里给出了MIDI通过以太网传输的具体用图12 dLive后台按时调用Scene45、Scene46演艺科技 ENTERTAINMENT TECHNOLOGY7Au d i o a n d V i d e o I n t e g r at i o n技术交流音视频集成户数据协议（UDP），见图13，需要在命令之前加1个数据头（Header）。后来在grandMA论坛中发现，grandMA2软件里的Ethernet MIDI用户数据协议是基于MIDI 1.0。但mac OS系统的Ethernet MIDI用户数据协议是基于Bonjour（苹果递交给IETF的开放协议），显然二者完全不同。为此，尝试了一个由Daniel Schmitt开发的基于UDP的Ethernet MIDI驱动软件，经下载测试失落地发现，这个软件只能使用其预设的端口（Port），没有地方修改UDP的Port（grandMA2 Ethernet MIDI的UDP 端口只能是60006100）。5.2 设备ID在grandMA2系统中，MSC（MIDI Show Control）的device（设备）可以设置112个，范围0111。注意，一定要提前设置好，因为同一个MIDI通路下，可能会通过Thru接口串接很多其他设备，如果都用默认的MMA ID0，则无法正确地识别到设备。grandMA2灯光控制台可以在Cue后面附加1个命令midinote:Note和Velocity，可以直接通过Musical MIDI control方式来调用Qlab内的素材。MA2 命令里输入的并不是十六进制的数值，而是十进制的数值，这一点确实比dLive调音台人性化。6 结语武侠琴缘大乐队演出中，借助MIDI控制，总谱中休止的乐器，在调音台这里都会自动淡出（Fader Out）或者Mute（静音）；乐器Ping Pang Delay需要送环绕声时，会自动在相应的小节发送过去；独奏（SOLO）乐器到了对应的小节线会自动慢慢将声像（PAN）移到中间，并提升到相应的电平（Level）。MIDI的辅助控制功能极大地减轻了音响师现场操作的工作量，可以把更多的精力放在音色的塑造上。（编辑 杜 青）图13 MA2厂家给出的通过以太网传输MIDI的用户数据协议