SOFTWARE软件2023第44卷第1期2023年Vol.44,No.1作者简介：李强（1973—）,男,研究生,讲师,研究方向：计算机应用、职业教育。基于Python的新闻聚合系统网络爬虫研究李强（应天职业技术学院信息工程学院，江苏南京211100）摘要：本文分析了基于Python的新闻聚合系统网络爬虫,指的是根据Python的网络爬虫构建新闻聚合系统,利用爬虫获取新闻聚合系统的新闻数据,不同网站的页面布局是不同的,因此需要创建开源爬虫,可以在不同页面布局中获取数据。在网络爬虫开发过程中需要利用Python语言,而网络爬虫Web提取工具为BeautifulSoup,Web应用程序框架为Laravel,选用的后端语言为PHP。网络爬虫可以根据用户配置文件提取不同页面布局的数据,并且可以向数据库系统中导入提取的数据。关键词：Python；新闻聚合系统；网络爬虫中图分类号：TP391.3文献标识码：ADOI：10.3969/j.issn.1003-6970.2023.01.046本文著录格式：李强.基于Python的新闻聚合系统网络爬虫研究[J].软件,2023,44(01):168-170ResearchonWebCrawlerofNewsAggregationSystemBasedonPythonLIQiang(DepartmentofInformationEngineering,YingtianVocational&TechnicalCollege,NanjingJiangsu211100)【Abstract】：ThispaperanalyzesthenewsaggregationsystemwebcrawlerbasedonPython,whichreferstobuildinganewsaggregationsystembasedonPythonwebcrawlers,andusingthecrawlertoobtainthenewsdataofthenewsaggregationsystem.Thepagelayoutofdifferentwebsitesisdifferent,soweneedtocreateanopensourcecrawlertoobtaindataindifferentpagelayouts.Pythonlanguageneedstobeusedinthedevelopmentofwebcrawlers,whiletheWebextractiontoolofwebcrawlersisBeautifulSoup,theWebapplicationframeworkisLarravel,andtheselectedback-endlanguageisPHP.Thewebcrawlercanextractthedataofdifferentpagelayoutsaccordingtotheuserprofile,andcanimporttheextracteddatatothedatabasesystem.【Keywords】：Python;newsaggregationsystem;webcrawler设计研究与应用0引言在社会发展过程中,人们每天都要阅读新闻,从而掌握最新信息,而随着科学技术不断发展,也逐渐提高了新闻传播速度。利用互联网技术可以更加便利的获取各种新闻信息,而网络中包含过多的冗余新闻信息,用户在阅读新闻的时候需要频繁切换不同的站点,从而增加了新闻获取难度,同时耗费了较多的时间成本。因此需要建立新闻聚合系统,利用特定格式汇总多个来...
