融媒体时代网络视听节目大数据监管平台设计_司凯威.pdf

广播与电视技术 2023年 第50卷 第2期19热点 论点Monitoring and Supervision of Network Audio-visual Programs 网络视听节目监测监管融媒体时代网络视听节目 大数据监管平台设计【摘 要】为落实精准式、靶向性监管网络视听节目的要求，本文利用分布式采集、存储、计算等技术，设计了具有视听舆情感知、节目预警上报、内容研判辅助、传播情况分析、传播规律研究等功能的大数据监管平台，提升融媒体时代网络视听节目技术监测和内容监管工作效能。【关键词】媒体融合，视听节目，大数据，智慧监管【中图分类号】TN948.13 【文献标识码】A 【DOI编码】10.16171/ki.rtbe.20230002002【本文献信息】司凯威.融媒体时代网络视听节目大数据监管平台设计J.广播与电视技术，2023,Vol.50(2).Design of Big Data Supervision Platform for Network Audio-visual Programs in the Era of Converged MediaSi Kaiwei(Station 293,NRTA,Henan 451162,China)Abstract In order to implement the requirements of accurate and targeted supervision of online audio-visual programs,this paper designs a big data supervision platform using technologies such as distributed collection,storage,and computing.The platform realizes the functions of audio-visual public opinion perception,program early warning and reporting,content research and judgment assistance,dissemination situation analysis,and dissemination law research.It can improve the work efficiency of technical monitoring and content supervision of online audio-visual programs in the era of converged media.Keywords Media convergence,Audio-visual programs,Big data,Smart supervision司凯威(国家广播电视总局二九三台，河南 451162)0 引言伴随着媒体融合的纵深推进和智慧广电工程的全面实施，大数据、区块链、云计算等技术广泛应用在视听节目线索收集、内容生产、内容分发、效果追踪、版权保护等领域。在 政府部门、广电媒体、商业网站、短视频平台等主体的共同努力下，网络视听节目在内容、数量、类型、渠道等方面发展迅速，传播范围和覆盖人群不断扩大，传播力和影响力不断增强。据第 50 次中国互联网络发展状况统计报告显示，截至 2022 年 6 月，我国网络视频用户数达到 9.95 亿，网络短视频用户数达到 9.62 亿，网络直播用户数达 7.16 亿1。为规范行业发展秩序和维护用户收听收看权益，国家广播电视总局出台了互联网视听节目服务管理规定 专网及定向传播视听节目服务管理规定等相关规定，下发了广播电视和网络视听“十四五”发展规划 广播电视行业应用大数据技术白皮书等指导性文件，要求积极利用先进技术加强节目内容和质量监管，规范行业健康发展，维护网民收听收看权益2-3。现阶段，网络视听节目监管领域的研究主要集中在：视频网站、移动 APP、互联网电视终端等节目信息采集、存储、处理和上报；文本、图像、音频、视频等识别中特征提取、模式识别、神经网络等技术的优化4-5；国家、省、市等监管系统的建设、应用和维护6。本文在研究媒体融合背景下网络视听节目传播特点的基础上，基于大数据技术框广播与电视技术 2023年 第50卷 第2期20热点 论点网络视听节目监测监管 Monitoring and Supervision of Network Audio-visual Programs架，利用分布式的采集、抽取、存储、检索、分析、挖掘和展示等技术，设计大数据监管平台，满足感知网络视听舆情变化、排查违规和优秀节目线索、收集行业发展数据等 需求。1 传播特点在传统媒体和新兴媒体融合发展的背景下，网络视听节目呈现出数据量大、数据类型多、增长速度快、价值大等特点，契合维克托 迈尔-舍恩伯格和肯尼思 库克耶在大数据时代中提出的“4V”理论特征4，适合利用大数据技术提升 采集、存储、计算和上报智能化水平。1.1 数据量大传统媒体和新兴媒体的融合发展，带动了网络视听节目制作与传播主体数量的增加，既有中央广播电视总台、东方卫视等传统广播电视机构，还有优酷、爱奇艺等商业视频网站，也有斗鱼、虎牙等垂直类节目直播平台。伴随着快手、抖音等短视频平台的崛起，数以亿计的普通网民借助智能手机、平板等设备参与到视听节目的制作和传播中。相关制作主体制作的新闻、影视剧、综艺、体育等视听节目通过视频网站、网盘、移动 APP、互联网电视、IPTV、AR、VR 等渠道传播。据国家广播电视总局发布的“2021 年广播电视行业统计公报”显示，截至 2021 年底，从事广播电视和网络视听制作和传播业务的机构约 6 万家3，短视频用户规模达到 9.34 亿。1.2 数据类型多为提升在不同网络带宽、终端等条件下网民收听收看视听节目的体验，视听节目数据被转换为不同的编码格式。常见的视频编码格式有 MPEG、TS、H.264、H.265 等，音频编码格式有 AAC、WMA、MP3 等，文字格式有 HTML、XML、JSON 等。随着 5G、大数据、云计算、人工智能等技术的应用，网络直播、超高清视频、互动视频、沉浸式视频、VR 视频等新应用逐渐普及，并产生了更多的数据格式。与此同时，监管系统在运行的过程中，每天都会产生海量的链接、文字、图片、音视频等结构化、非结构化的 数据。1.3 数据增长快在智能终端、短视频平台、社交软件等多种因素的驱动下，网络视听节目爆炸式增长。以 2021 年影视剧类电视节目为例，制作节目时长达到7.52万小时，播出时长达到884.33万小时3。以某短视频平台为例，2021 年第四季度日活达到 3.23 亿，每天生产 PG 级别的网络视听数据。1.4 业务价值大视听节目作为网民生活、娱乐的重要方式之一，蕴含着巨大的社会和经济价值。通过实时分析网络视听节目变化，有利于掌握舆情变化态势；跟踪重点视听平台节目情况，有利于提升宣传效果；积累行业发展数据，有利于提升行业服务能力；机器识别违规和优秀节目内容，有利于提升监管工作效率和降低劳动强度。针对网络视听节目在节目内容、信息格式、传播渠道、受众群体、社会价值等方面的发展变化，利用公共搜索引擎排查加人工监听监看的工作方式难以满足行业监管的需求。因此，有必要基于大数据技术框架，对海量数据进行自动采集、分析、计算、处理，以满足舆情态势感知、节目内容研判、传播情况分析、传播规律研究等方面的需求。2 系统设计在满足海量网络视听数据分布式采集、存储、计算、应用等功能需求的基础上，为降低系统研发、运行、维护、升级等方面的难度，按照分层、解耦、开放的原则，将技术系统分为数据感知、数据存储、数据计算、数据服务、数据展示、系统管理等子系统，如图 1 所示。2.1 数据感知层数据感知层利用网络爬虫采集、数据通信、数据库同步等技术获取海量的网络视听数据。一是利用 Scrapy、PySpider 等分布式网络爬虫和 Selenium工具包调用动态浏览器采集视听网站、短视频平台、社交网站、广播电视机构网站等视听数据，以提取链接、图片、导演、播放量、评论、弹幕等。二是借助调试工具 Adb、libimobiledevice 实现对安卓、iOS 系统的远程控制，模拟人工进行选择、取消、向上、向下、滑动、捕获等操作，以捕获节目、图片、文字等相关 信息。三是设计分布式数据接口从视听网站、数据分析公司以及省市网络视听监管机构等获取节目链接、名称、时长、审核意见、审核人等数据。为对接网络视听节目监管区块链和版权保护区块链，使用了专门的数据链的信息提取 技术。四是利用 Sqoop、Flume 等数据库同步、采集工具获取政策法规、审批文件、行业数据、投诉信息等内部数据。政策法规主要指网络视听主管部门下发的各类规定和通知文件。行业数据主要指组织系统内部的统计数据、行业报告等相关数据。广播与电视技术 2023年 第50卷 第2期21热点 论点Monitoring and Supervision of Network Audio-visual Programs 网络视听节目监测监管为保证网络视听数据采集中，不触发监管对象的反爬虫机制，系统中综合运用 IP 代理资源池、浏览器参数头、动态调整访问频率等技术。2.2 数据存储层数据存储层主要是利用分布式文件系统、关系数据库、数据仓库管理外部获取和内部生产的数据。一是利用 HDFS、FastDFS 等分布式文件系统管理海量非标准化的网络视听节目数据。为实现对海量的页面、文字、评论、图片、节目等视听数据的存储、读取、更新等操作，将分布式系统部署在多个廉价硬件设备上，通过节点统一管理的方式，提供更加安全的文件管理服务。为减少视听节目的冗余，在仓库中存储相关数据的地址和 HASH 值。二是利用 MySQL 等关系型数据库存储结构化的网络视听数据。通过构建数据表、映射关系等，管理系统参数、设备信息、指标参数、监管结果、反馈意见等结构化数据。为确保核心数据的安全性和数据库的可用性，将核心的数据库设置成双机热备份的模式。三是利用 Hive、Hbase 等数据仓库通过离线和实时方式管理主题化的视听数据。以某大型视听网站为例，在数据仓库中存储 EPG、节目、页面、图片、链接等相关的信息，为后期的违规节目回溯、传播趋势分析和传播规律总结等分析提供数据支撑。2.3 数据分析层数据分析层主要是离线和实时的数据处理框架下利用数据预处理、数据挖掘、数据统计等技术挖掘数据的经济和社会价值。一是利用 Pantlo Kertle、Howk 等 ETL 工具，对音视频、动画、图片、文字、页面、链接等数据进行清洗，删除无效图1 系统软件组成示意图数据应用舆情预警 预警链接 变化趋势 活跃用户 影响力节目预警 预警级别 违规节目 优秀节目 热搜排行节目研判 违规节目 优秀节目 机器研判 人工研判数据交换 权限管理 内部接口 外部通信 系统协调大屏展示 趋势图 饼图 GIS 词云辅助决策 传播现状 传播趋势 传播规律 传播特征知识图谱 节目关系 演员关系 内容关系 题材关系舆情预警节目预警系统预警实时查询数据更新数据管理内部交换外部交换数据交换数据感知数据地图知识图谱效果展示数据加密数据存储账户管理角色控制用户认证安全审计安全控制集群运维资源监控服务监控异常告警管理配置数据加密统一监控系统自愈网闸堡垒机安全审计网络安全 视频网站 音频网站 社交网站 移动APP 移动APP 互联网电视 IPTV AR/VR 行政法规 政策通知 行业报告 内部数据分布式文件系统HDFS/FastDFS关系型数据库MySQL 关键词库 标签库 规则库 配置库 图片存储 网页存储 文字存储 链接存储 音频存储 视频存储 APP存储 日志存储 网站库 EPG库 播放量库 演员库数据仓库Hbase/Hive分布式离线计算MapReduce人工智能离线/实时处理统计分析分布式实时计算Spark/Flume传播情况 基本