分布式集群存储架构在电视台非编网中的应用_许伟民.pdf

广播与电视技术 2023年 第50卷 第2期54内容制播 Content Production&Broadcasting分布式集群存储架构在电视台 非编网中的应用【摘 要】非编网系统中，存储系统的容量决定了非编网可以存储的节目素材总量，存储系统的带宽瓶颈决定了非编网可以支持的非编客户端数量，更重要的是，存储系统的安全性和稳定性对非编网络的安全性影响较大。本文所述的非编网存储系统采用分布式集群存储架构，在安全性、性能及可扩展性方面都得到了很大提高，对电视台非编网、融媒体系统、媒资系统的建设具有一定的借鉴价值。【关键词】集群存储，分布式存储，非编网，存储架构【中图分类号】TN943 【文献标识码】B 【DOI编码】10.16171/ki.rtbe.20230002009【本文献信息】许伟民.分布式集群存储架构在电视台非编网中的应用J.广播与电视技术，2023,Vol.50(2).Application of Distributed Cluster Storage Architecture in Non-linearity Editing Network of TV StationXu Weimin(Technical Center,Xia Men Media Group,Fujian 361000,China)Abstract In the non-linearity editing network system,the capacity of the storage system determines the total amount of program materials that can be stored.The bandwidth bottleneck of the storage system determines the number of clients that the non-linearity editing network can support.More importantly,the security and stability of the storage system have a significant impact on the security of non-linearity editing network.Non-linearity editing network storage system described in this paper adopts distributed cluster storage architecture,which has been greatly improved in terms of security,performance and scalability.It has certain reference value for the construction of non-linearity editing network,converged mdeia system and media assets system.Keywords Cluster storage,Distributed storage,Non-linearity editing network,Storage architecture许伟民(厦门广播电视集团技术中心，福建 361000)0 引言作为非编网的核心组件，非编网存储系统决定了非编网的站点规模、可保存素材量，并且对整套非编网的安全性、可靠性起着决定作用。厦门广电集团卫视非编网存储系统采用分布式集群存储架构，在安全性、性能及可扩展性方面都得到了很大提高，本文介绍该存储系统的组成及采用该存储架构的优势。1 厦门广电集团卫视非编网项目背景介绍厦门广电集团卫视非编网承担着厦门卫视多档栏目的制作与播出，原有非编网已使用近 8 年，设备老化严重，许多关键设备已停产，所以急需建设一套新的非编网络。新建非编网采用万兆光纤到桌面的纯万兆光纤网设计，如图 1 所示。由于以下原因，非编网存储系统的设计成为非编网设计中十分重要的一环。首先，非编系统处理的多媒体素材数据量极大，尤其是高清化普及以及 4K 摄像机的使用，进一步加剧了非编网对存储系统存储容量的需求。其次，用户的建设资金往往无法一步到位，随着电视制作量的逐年增加以及融媒体应用的广播与电视技术 2023年 第50卷 第2期55Content Production&Broadcasting 内容制播 扩展，需要对非编网的客户端数量进行扩展，而存储系统的总带宽往往成为系统的带宽瓶颈，制约着系统的站点规模，这就要求在不影响当前业务的情况下对存储系统进行平滑无缝扩展。第三，非编网一般用于台内节目的制作和播出，其中很多节目是当天播出甚至是直播，而存储系统的故障将直接导致非编网的瘫痪，存储系统中数据的丢失也将导致节目素材的丢失，所以要求存储系统具有很高的 安全性。2 传统非编网存储系统架构的缺点非编网较常采用的网络架构为“光纤+以太网”的 SAN架构和纯以太网的 NAS 架构。SAN 存储架构满足了电视台非编网大数据量高速访问的需求，但由于需要同时部署光纤和以太网，实施和维护费用较高。更重要的是，该存储架构还存在以下缺点。首先，由于采用传统的 RAID 技术，该存储架构只能在同一盘箱内进行 RAID 冗余盘配置。当盘箱中某块硬盘故障时，通过 RAID 技术仍可保障数据的有效性，但如果出现整个盘箱故障的情况，由于无法在不同盘箱间进行数据冗余，将导致该盘箱数据全部丢失，这对于电视节目的安全制作和播出将构成严重威胁。第二，存储系统对外均通过存储控制器提供服务，所以存储控制器成了存储系统性能的瓶颈。而对于一套非编网而言，存储系统的总带宽往往是非编网带宽性能的瓶颈，决定了非编网客户端数量，即非编网的规模将受限于存储控制器的数量及接口带宽，这将限制非编网络规模的扩展。图1 厦门广电集团非编网络系统图非编制播网后台支撑部分最小化应急系统全万兆交换机2信号收录源新闻生产工具部分高标清有卡精编工作站30审片工作站5配音工作站4演播室直播高清播出服务器1播控终端2演播迁移服务器2演播室接口服务器2切换台精彩回放视频服务器1演播室交换机2演播室数据库服务器2内部千兆接入合成工作站4文稿工作站10全万兆交换机1媒体处理服务器2新闻应急支撑1融媒体新闻平台集群服务器5分布式核心存储6媒体处理服务器2媒体处理服务器2系统平台硬件监控2数据同步服务器1SDI收录服务器2IP收录服务器2高清新闻网交互服务器2中心媒资交互服务器2融媒体平台交互服务器2APP平台交互服务器2定制服务器1全万兆交换机2千兆交换机2光纤线以太网线外网交互服务器千兆交换机2广播与电视技术 2023年 第50卷 第2期56内容制播 Content Production&Broadcasting第三，由于非编客户端可通过不同的存储控制器及光纤交换机对存储系统实现访问，即对存储系统的访问存在多条物理链路。为避免非编客户端产生重复盘符，需对光纤交换机划分 ZONE，使每套非编客户端只能通过其中一套存储控制器及光纤交换机访问存储系统。所以当一套存储控制器故障时，需要在光纤交换机上切换不同的 ZONE 方案进行应急。这一方面增加了故障应急处理的时间及应急处理方案的复杂度，另一方面，将导致所有非编网客户端都通过另一套存储控制器访问存储系统，很可能由于存储控制器带宽的瓶颈导致客户端运行的卡顿。NAS 存储架构除了以上类似问题外，还存在由于每个存储节点具有独立命名空间，无法实现多节点空间共享和对外 IP 统一的情况，在实际部署时，每个存储节点将对应一个盘符，而非编网软件设置中，素材存储路径一般只能设置为对应某一盘符，所以对 NAS 存储架构的存储空间扩容往往只能在某个存储节点内进行。由于单节点的可扩容空间有限，这就限制了非编网存储系统空间的有效扩容。同样由于上述原因，采用 NAS 存储架构的非编网素材一般保存在某个存储节点，而无法分散保存在多个节点中，所以非编网的规模即非编客户端数量将受该节点对外带宽的 限制。3 厦门广电集团卫视非编网存储系统的设计3.1 系统介绍基于上述原因，我们选择分布式集群存储架构，该存储系统如图 2 所示。分布式集群存储与传统存储架构最大的区别就是，通过后端交换机将所有存储节点相联，且所有节点均可对外独立提供存储访问链接，系统中所有节点的硬盘整合成一个统一的资源池，对外提供统一命名空间。非编客户端通过任一节点均可对存储系统进行访问，节点对用户是透明的，用户不会感知是哪个节点在提供服务，当一个存储节点故障，仍可通过其它节点对存储系统进行访问，从而消除了传统存储系统架构中存储控制器、单一存储节点等性能瓶颈及单一故障点，提高了存储系统的安全性。由于采用 erasure code 技术（而不是传统的 RAID 技术），通过数据分片技术，将原始数据和冗余数据分成多个数据片段，均匀地存储在所有节点，通过负载均衡设计，客户端对存储系统的访问将在集群内所有节点均匀分布，可大幅提升存储系统的总带宽及并发访问 能力。本项目存储系统采用两套华为 OceanStor 9000 分布式集群存储系统分别作为主、备存储，其中主存储系统由六套存图2 分布式集群存储系统联接示意图广播与电视技术 2023年 第50卷 第2期57Content Production&Broadcasting 内容制播 储节点组成分布式集群存储系统，而备存储系统则由三套存储节点组成，主、备存储通过数据同步服务器实现数据同步，用于主存储系统故障时的应急处理。各存储节点通过万兆交换机（后端交换机）联接，组成一套分布式集群存储系统。本项目存储节点采用 P36E 型节点，其正面如图 3 所示。该存储节点的正面可插入 24 张磁盘，其中 0 号磁盘为1TB 的固态硬盘，作为该节点的缓存空间使用，其余 23 个盘位配备 6TB SATA 硬盘。P36E 存储节点背面图如图 4 所示。该存储节点的背面可插入 12 张 6TB SATA 硬盘，与前面 23 张硬盘组成总物理容量 210TB（356TB）的存储空间。该非编网的主存储系统由六套 P36E 存储节点组成，总物理空间为 1260TB（210TB6）。备存储系统由三套 P36E 存储节点组成，总物理空间为 630TB（210TB3）。如上介绍，每套存储节点插有一张 1TB 固态硬盘作为缓存，由于分布式存储架构采用全局缓存模式，所有节点的缓存得到整合，有效提高了缓存数据的访问命中率，进一步提高了存储系统的总体访问带宽。存储节点的背面配置两张光纤卡，用于各节点间通过后端交换机网络互联，以及通过前端交换机对外提供网络服务。存储系统各存储节点及交换机的联接如图 2 所示（为作图方便说明，以三节点存储系统为例）。存储节点每张万兆光纤卡具有两个万兆网口，通过冗余联接配置，实现了存储系统网络的冗余保护。受项目经费限制，备份存储系统仅由三个存储节点组成。由于采用分布式集群存储系统架构，所以可以对存储系统总容量及总带宽进行灵活无缝扩容。将来可根据需要灵活增加存储节点，从而使前期投资不会浪费。3.2 分布式集群存储系统故障的应急处理存储系统的故障可分为数据可修复及不可修复两种情况，这和出现故障的硬盘数量及所在位置有关，也和出现故障的节点数有关。与传统存储系统采用的 RAID 技术不同，分布式集群存储采用 erasure code 技术，即通过数据分片技术，将原始数据和冗余数据分成多个数据片段，分别保存在多个节点中，不仅能确保某块磁盘故障情况下数据的有效性，同时还可实现存储节点间的冗余，即使出现整个存储节点的故障，仍能保证数据的完整性。厦门广电集团非编网主存储系统设置为“4+2”的保护级别，即将原始数据分成 4 个数据片段和 2 个冗余数据片段，分别保存在 6 个节点中。当同时出现 2 块以内磁盘故障，通过冗余数据进行读取并计算，数据仍可正常读取。而当同时出现故障的硬