基于贝叶斯分类的主题爬虫

发布时间：2017-07-05 12:10

  本文关键词：基于贝叶斯分类的主题爬虫

  更多相关文章： 主题爬虫 贝叶斯分类器 网页相关性

【摘要】：随着网络的高速发展,其信息资源越来越庞大,面对巨量的信息库,搜索引擎起着重要的作用.主题爬虫技术作为搜索引擎的主要核心部分,计算搜索结果与搜索主题的关系,该关系被称为相关性.一般主题爬虫方法只计算网页内容与搜索主题的相关性,作者所提主题爬虫,通过链接内容和锚文本内容计算链接的重要性,然后利用贝叶斯分类器对链接进行分类,最后利用余弦相似函数计算网页的相关性,如果相关值大于阀值,则认为该网页与预定主题相关,否则不相关.实验结果证明:所提出主题爬虫方法可以获得很高的精确度.
【作者单位】： 上海师范大学信息与机电工程学院;
【关键词】： 主题爬虫 贝叶斯分类器 网页相关性
【分类号】：TP391.3
【正文快照】： 0引言网络爬虫[1]是采取一定的策略,自动的抓取网页信息的计算机程序,其原理是从一个或若干初始网页的链接开始,获得初始网页中的链接,逐个抓取其他的网页,网页通过超链接相互连接,组成了一个庞大、无形的网络,网络爬虫就像一只蜘蛛一样在这个网络中爬来爬去,所以网络爬虫又称

【参考文献】

中国期刊全文数据库 前1条

1 白万民;苏希乐;;Heritrix在垂直搜索引擎中的应用[J];计算机时代;2011年09期

【共引文献】

中国期刊全文数据库 前7条

1 赵永鑫;雷霖;;Heritrix在电子信息垂直搜索平台中的应用[J];成都大学学报(自然科学版);2013年02期

2 张倩;瞿有利;;用于网络评论分析的主题-对立情感挖掘模型[J];计算机科学与探索;2013年07期

3 赵婷婷;赵素云;裴斌;陈红;李翠平;;概率数据上基于规则的分类器[J];计算机科学与探索;2013年07期

4 刘高军;夏景隆;;基于Heritrix的网络爬虫研究与应用[J];软件导刊;2013年05期

5 张小琴;王晓辉;;主题信息搜索系统中的搜索策略研究[J];软件导刊;2014年01期

6 陈锦伟;徐勇;;基于Heritrix的网页内容过滤抓取[J];现代计算机(专业版);2012年21期

7 许爱琴;王梦洁;刘永坚;王卫华;;一种新的生成候选关键词集的方法[J];武汉理工大学学报(信息与管理工程版);2013年06期

中国重要会议论文全文数据库 前2条

1 张琳;;基于混合聚类方法的科学层级结构分析[A];第九届中国科技政策与管理学术年会论文集[C];2013年

2 刘权;郭武;;基于核主成分分析的话题跟踪系统[A];第十二届全国人机语音通讯学术会议（NCMMSC'2013）论文集[C];2013年

中国博士学位论文全文数据库 前2条

1 王彪;信息检索中信息需求域的研究[D];内蒙古大学;2012年

2 薛驰;基于专利知识的机械产品创新设计方法研究[D];浙江大学;2013年

中国硕士学位论文全文数据库 前10条

1 张敏;基于WEB的学科资源垂直搜索引擎的设计与实现[D];华中师范大学;2012年

2 陈实;面向web视频的网络爬虫的研究与实现[D];电子科技大学;2012年

3 李伟;面向远程教育主题搜索引擎的研究与实现[D];西安电子科技大学;2012年

4 刘建明;垂直搜索引擎中的主题爬虫技术研究[D];广东工业大学;2013年

5 刘徐;网页特征词典生成模型的设计与实现[D];北京邮电大学;2013年

6 董丽阳;公用云平台查询服务中隐私信息保护功能模块的设计与实现[D];北京邮电大学;2013年

7 杜娜;高校DL信息资源管理研究[D];安徽大学;2013年

8 徐瑜;基于连接词预测的隐式语篇关系分类[D];华东师范大学;2013年

9 冯晓龙;基于用户行为分析的P2P流媒体推荐系统研究[D];北京交通大学;2013年

10 王芳;面向领域的智能深度搜索引擎的研究[D];北京工商大学;2011年

【二级参考文献】

中国期刊全文数据库 前3条

1 秦海峰;许南山;山岚;;基于P2P架构的搜索引擎技术探究[J];福建电脑;2008年07期

2 白坤;耿国华;;基于Lucene/Heritrix的垂直搜索引擎的研究与应用[J];计算机应用与软件;2009年01期

3 祝奕;;垂直搜索引擎的构建与应用[J];信息与电脑(理论版);2010年01期

中国硕士学位论文全文数据库 前1条

1 杨溥;搜索引擎中爬虫的若干问题研究[D];北京邮电大学;2009年

【相似文献】

中国期刊全文数据库 前10条

1 曹玲玲;潘建寿;;基于Fisher判别分析的贝叶斯分类器[J];计算机工程;2011年10期

2 苏中,张宏江,马少平;基于贝叶斯分类器的图像检索相关反馈算法[J];软件学报;2002年10期

3 文桥;王卫平;;基于改进贝叶斯算法的入侵检测方法[J];计算机工程;2006年12期

4 董立岩;苑森淼;刘光远;贾书洪;;基于贝叶斯分类器的图像分类[J];吉林大学学报(理学版);2007年02期

5 李锦善;王志海;王中锋;;一种基于假设检验的贝叶斯分类器[J];计算机工程与应用;2008年21期

6 耿姝;秦玉平;;结合SVM与Bayesian为不带类别标记的兼类文本分类[J];科技信息(科学教研);2008年21期

7 丁厉华;张小刚;;一种基于类支持度的增量贝叶斯学习算法[J];计算机工程;2008年22期

8 张琼;;基于贝叶斯方法的高考成绩类别预测[J];太原师范学院学报(自然科学版);2009年02期

9 董立岩;李真;阎鹏飞;;基于贝叶斯分类器的重大危险源辨识[J];吉林大学学报(理学版);2009年04期

10 汪霞;郑宁;徐明;陈默;;基于中文变形词匹配的贝叶斯邮件过滤模型[J];计算机应用与软件;2010年01期

中国重要会议论文全文数据库 前10条

1 岳全中;朱永利;;基于朴素贝叶斯分类器的电流互感器状态评估[A];中国高等学校电力系统及其自动化专业第二十四届学术年会论文集（上册）[C];2008年

2 孟中强;卢锦玲;;基于贝叶斯分类器的暂态稳定评估方法研究[A];中国高等学校电力系统及其自动化专业第二十四届学术年会论文集（上册）[C];2008年

3 吴铭;徐蔚然;郭军;;基于统计的中文标点识别算法研究[A];第八届全国汉字识别学术会议论文集[C];2002年

4 田京雷;毕胜;;基于视频的客流计数系统的研究[A];第十二届全国图象图形学学术会议论文集[C];2005年

5 吴崇斌;张全;;上下文边界可变的贝叶斯分类器词义消歧方法[A];第五届全国青年计算语言学研讨会论文集[C];2010年

6 刘兵;胡学钢;;基于多链接分析的主题爬虫设计实现[A];全国第20届计算机技术与应用学术会议（CACIS·2009）暨全国第1届安全关键技术与应用学术会议论文集（上册）[C];2009年

7 程泽凯;泰锋;;贝叶斯网络分类器结构学习:基于启发式的G2算法[A];2005年“数字安徽”博士科技论坛论文集[C];2005年

8 李庆奇;马莉;;基于小波能量的轮廓抖动性烟雾检测算法[A];浙江省电子学会2011学术年会论文集[C];2011年

9 秦文政;马莉;;基于视觉显著性和小波分析的烟雾检测方法[A];浙江省信号处理学会2011学术年会论文集[C];2011年

10 徐蔚然;于武贵;郭军;;基于统计方法的混排文字切分与分类[A];第八届全国汉字识别学术会议论文集[C];2002年

中国博士学位论文全文数据库 前10条

1 张聪;基于信度网的不确定性推理、学习与分类研究[D];重庆大学;2005年

2 董立岩;贝叶斯网络应用基础研究[D];吉林大学;2007年

3 卢锦玲;电力系统暂态脆弱性评估及连锁故障跳闸预测研究[D];华北电力大学（河北）;2009年

4 李永丽;应急平台建设若干问题研究[D];吉林大学;2010年

5 梁大为;视频运动对象跟踪技术研究[D];哈尔滨工业大学;2010年

6 邵非;基于位置感知的移动信息服务若干关键技术研究[D];华东师范大学;2012年

7 李超群;名词性属性距离度量问题及其应用研究[D];中国地质大学;2012年

8 安百国;关于模型稀疏性的研究[D];东北师范大学;2012年

9 郭烁;DNA信号序列分析的基因预测方法研究[D];大连海事大学;2010年

10 王肃;基于多Agent的突发事件信息智能监测系统研究[D];北京邮电大学;2011年

中国硕士学位论文全文数据库 前10条

1 高岩;朴素贝叶斯分类器的改进研究[D];华南理工大学;2011年

2 余民杰;贝叶斯网络分类器与应用[D];云南财经大学;2012年

3 王国才;朴素贝叶斯分类器的研究与应用[D];重庆交通大学;2010年

4 施轶青;监督学习下的贝叶斯分类器研究[D];西安电子科技大学;2011年

5 郑宏;贝叶斯分类器在汽车发动机喷射故障诊断中的应用研究[D];重庆大学;2011年

6 左红江;基于样本定邻域概率的贝叶斯分类器[D];河北大学;2013年

7 钟骏;朴素贝叶斯分类法在氡预测应用中的初步研究[D];中国地质大学（北京）;2013年

8 王敏翔;面向主题的爬行搜索策略研究与实现[D];陕西师范大学;2012年

9 李晶辉;基于互信息的多层隐朴素贝叶斯算法研究[D];湖南大学;2012年

10 李万武;基于贝叶斯理论的数据挖掘在高校信息管理的应用研究[D];哈尔滨工程大学;2005年

，

本文编号：521895