基于知识图谱的炒货食品抽检数据可视化系统研究_乔青青.pdf

123 研究探讨食品工业 2023 年第44卷第 2 期基于知识图谱的炒货食品抽检数据可视化系统研究乔青青1，郝莉花1*，马江涛2，罗莉1，仝莹莹11.河南省产品质量监督检验院（郑州 450000）；2.郑州轻工业大学（郑州 450000）摘要为提高食品安全抽检数据的利用率,深入分析抽检数据,结合知识图谱,建立抽检信息间关联关系,以期发现潜在的食品安全风险。运用网络爬虫技术,将坚果与炒货食品抽检数据进行整合,并将数据存于Neo4j图数据库用于展示各数据之间的关系,深度挖掘数据间潜在的关联信息。结果表明,通过曲线图、折线图、节点图、地图,实现对食品安全态势、食品安全分析报告,对不合格抽检信息检索、抽检数据关联关系的可视化显示。采用可视化的方式可实现抽检数据的直观展示,挖掘潜在食品安全风险,进而提高食品安全风险预警有效性。关键词知识图谱;食品安全抽检数据;可视化;食品安全风险预警Visualization Analysis of Food Safety Supervision Sampling Inspection of Roasted Seeds and Nuts Products Based on Knowledge GraphQIAO Qingqing1,HAO Lihua1*,MA Jiangtao2,LUO Li1,TONG Yingying11.Henan Institute of Quality Supervision and Inspection(Zhengzhou 450000);2.College of Food and Biological Engineering,Zhengzhou University of Light Industry(Zhengzhou 450000)Abstract In order to improve the utilization rate of food safety sampling data and analysis deeply,information correlation of food safety supervision sampling inspection was established by combining knowledge graph,so as to find potential food safety risks and to realize early warning in time.The data of roasted seeds and nuts products were collected and stored in Neo4j graph database,which was used to show the relationship between the data and dig out the potential correlation information.The results showed that the visualization of food safety situation,food safety analysis report,unqualified sampling information retrieval and association of sampling data was realized by curve chart,and line chart,node chart and map were broken.The visual display of sampling data was realized,the potential food safety risk was excavated,and then the effectiveness of food safety risk early warning was improved.Keywords knowledge graph;food safety sampling data;visualization;food safety risk early warning食品安全法明确提出我国对食品安全的管理由被动应对向主动预防转变，而预防机制基础就是食品安全大数据的应用1。在我国，关于“十三五”时期加强食品药品监管网络安全和信息化建设的指导意见等多个文件2-4要求推进食品安全大数据建设。中共中央国务院关于深化改革加强食品安全工作的意见5中指出“完善抽检监测信息通报机制，模拟运输时的振动也会造成纸箱、隔断及衬板的轻微磨损，但包装容器及内部产品无明显变化，模拟运输后产品的气密性和均匀性符合标准要求。在现有的包装形式下，静载荷堆码不会对包装件及内部产品造成损坏。滚动时对外箱所有棱造成轻微损坏，即出现压痕，但不会对外箱各个面、包装容器及内部产品造成损坏。跌落时损坏程度比静载荷堆码及滚动大很多，外箱容易出现受损，内包装容器易出现轻微的磕痕，但不会对内部产品造成损坏。采用实验室模拟运输和模拟装卸试验的结果与实际运输过程的结果相比趋近或破坏性更强，模拟产品装卸和运输过程中的危害因素具有可行性。参考文献：1 中华人民共和国国家卫生和计划生育委员会.食品安全国家标准 特殊医学用途配方食品通则:GB 299222013S.北京:中国标准出版社,2013.2 麻开香,张美萍,吴帅,等.特殊医学用途配方食品干法混合工艺研究及其与湿法工艺的对比J.现代食品科技,2019,35(1):6.3 刘宝华.特殊医学用途配方食品干法工艺中混合机最佳参数的试验研究J.中国乳业,2022(4):7.4 张长森.粉体技术及设备M.上海:华东理工大学出版社,2007:254-257.5 International Safe Transit Association.Guidelines for selecting and using ISTA test procedures and projectsC.ISTA,2012.6 国家食品药品监督管理局药品认证管理中心编写.药品GMP指南:口服固体制剂M.北京:中国医药科技出版社,2011.食品工业 2023 年第44卷第 2 期 124 研究探讨依法及时公开抽检信息”，这也为大数据在食品抽检领域分析提供了政策支持。自食品安全抽检信息发布以来，目前已公布690万余批次的抽检结果6，但传统的数据分析较为简单7-8，无法满足智能监管的需求。作为传统的休闲食品，近年来炒货制品的质量问题也受到广泛关注9-11。从公布的抽检结果看12-14，炒货食品的不合格率较高，加强对炒货食品监管尤为重要。网络爬虫技术可用于收集媒体网页中的数据，抓取有效信息并加以存储15。Neo4j数据库是一种以图的形式来存储信息的非关系存储数据库，相比传统数据格式，Neo4j数据库信息更加直观16-17。知识图谱（knowledge graph，KG）是以图的形式表现客观世界中的实体（概念、人、事物）及其之间关系的知识库18-20。此次研究以已公布炒货食品抽检数据为基础，建立基于Neo4j及Django食品可视化分析系统，为智能化监管提供技术支持。1材料与方法1.1数据来源数据来源主要从以下网站获取：国家市场监管管理局，http：/ 16.04；开发语言为Python 3.5.2；数据库为Neo4j和MySql；服务器为Django 1.11.8；前端相关API为Echarts，font-awesome，ChinaMap，dataTable和bootstrap等；Python相关API为pymsql，py2neo，PyTorch，jieba，spark，pytz和geoip等。1.3系统模块设计系统主要包括的数据获取、数据清洗、数据质量控制、构建知识图谱、构建系统整体模块，见图1。系统结构见图2。图1系统整体模块结构图图2系统整体结构图1.3.1获取数据模块获取的数据模块主要使用Scrapy爬虫收集食品安全相关信息，收集食安通、国家市场监督管理总局、各省份市场监督管理局等网站上的各年食品抽检不合格信息登记表。1.3.2数据清洗模块获取数据后，需要进行数据清洗。数据清洗模块包括删除无分析价值抽检数据（有些抽检数据缺失值过多，无分析价值）和清理与食品无关的脏值数据。在无分析价值的抽检数据处理时，抽检数据中不合格各项和检测结果缺失数据要进行删除，被抽检单位所在地缺失要进行填充，填充的方法为根据被抽检企业和发布单位数据条中进行地点抽取。与食品无关的脏值数据处理，直接删除即可。1.3.3数据质量控制模块数据质量控制需要人工和程序共同完成，人工发现数据的质量出现问题，撰写程序进行再清洗。1.3.4构建知识图谱模块知识图谱构建要对数据清洗完成后的数据进行实体抽取、关系抽取、属性抽取、知识消歧、知识对齐、标准知识表示、知识验证、导入Neo4j数据库。1.3.5构建Django模块使用Python的第三方库django框架，构建django项目。从Mysql中调用构建好的数据集，并调用Neo4j中的数据接入项目接口。2结果与分析2.1Scrapy爬虫收集食品安全相关信息在数据搜集阶段项目借助Scrapy框架对食安通（）、国家市场监督管理总局、各省*通信作者；基金项目：河南省重点研发与推广专项（科技攻关）项目（202102310295），河南省市场监督管理局科技计划项目（项目编号：2021sj24，2020sj19，2020sj22）125 研究探讨食品工业 2023 年第44卷第 2 期市场监督管理局官网进行收集，共收集20162020年坚果与炒货食品抽检不合格信息登记表1 932条。2.2数据清洗与整理用scrapy框架收集到的坚果与炒货食品数据多为csv表格文件，其内容多包括标称生产企业名称、标称生产企业地址、被抽样单位名称、被抽样单位地址、食品名称、规格型号、商标、生产日期、不合格项目、检验结果、标准值、检验机构、备注等。根据分析需求，序号、商标、备注列没有分析价值，因此利用pandas库读取所有收集到的csv文件并删除这3列。根据标称生产企业地址、被抽样单位地址这2列可以分析出产品的生产地址。根据不合格项目、检验结果、标准值可获得产品不合格项目的分类，因此增加2列，分别为不合格项目分类和产地。并对数据做进一步整理，得到包括产品名称、型号规格、不合格项目分类、不合格项、年份、产地的数据列。2.3数据导入数据库2.3.1数据导入Neo4j数据库该模块借助Neo4j数据库，对食品抽检信息分析模块中的数据进行节点和关系的提取，将基础数据整合成年份、产品类别、不合格产品、不合格项目、不合格项目分类、省份6个节点，依照节点间的关系生成知识图谱json文件，通过Ajax技术在浏览器端生成知识图谱，可以借助图谱更加清晰地看到抽检不合格数据之间的联系。详见图3。图3坚果及炒货食品知识图谱图2.4可视化展示在这个模块中对数据按照地区、名称、年份、超标项目等维度进行统计处理，并且借助ChinaMap，Echarts等前端接口将统计结果以图表的形式返回给用户。从收集的坚果与炒货的数据看，不合格指标分为微生物、污染物、理化指标、食品添加剂4个类别。可视化展示分为7个模块，模块数据可动态更新。2.4.1不合格省份展示各省抽检不合格情况采用3种方式展示，分别为柱状图、地图、扇形图展示，详见图4和图5。从图4和图5中可以直观看出：坚果与炒货食品中不合格样品批次较多的省份为广东，其次为浙江、江苏；不合格样品较多的省份主要集中于南部地区。图4生产省份抽检不合格柱形图图5生产省份抽检不合格扇形图2.4.2各年度不合格情况表该部分展示的为每年度的抽检情况及不合格占比。20162020年，不合格批次较多的为2018年度，其次为2016年度。详见图6。图6抽检不合格批次年度分布表2.4.3不合格产品排名展示该部分展示的为不合格批次较多的食品类别。从收集数据看，坚果与炒货食品不合格批次较多的为鱼皮花生、开心果