基于状态转换的动态爬虫系统设计与实现

发布时间：2017-06-06 14:08

  本文关键词：基于状态转换的动态爬虫系统设计与实现，由笔耕文化传播整理发布。

【摘要】：网络爬虫按照一定规则抓取Web信息，是搜索引擎技术的重要组成部分。随着Web2.0的兴起，在网页开发中大量的运用Ajax技术。区别于传统网页，Ajax技术使用异步的方式向服务器发送请求，并根据响应更新页面。Ajax极大地降低了服务器的负载，同时也提高了用户体验。与此同时，Ajax技术部分更新HTML页面的方式也对传统爬虫技术提出了严峻挑战。 本文在介绍分析传统爬虫爬行原理与结构的基础上，结合动态网络爬虫需要解决的问题，设计并实现了一种可以抓取动态网页数据的网络爬虫系统。本文完成的主要工作如下。 首先，在前人关于动态网络爬虫模型的研究基础上，基于图结构的思想，经过改进，提出了基于状态转移的动态网络爬虫模型，从而使用状态的转移过程模拟动态事件触发对网页结构的改变。并结合动态爬虫的需求和真实的网络环境，在网页去噪、新状态去重、新状态抓取等方面对算法模型进行了细化改进。 其次，本文根据该模型，使用调用浏览器内核以及本地构建JavaScript解析环境两种方法，设计实现了针对动态网页数据的爬虫系统。在保持传统爬虫功能的基础上，，添加了对动态数据抓取的支持。 最后，本文通过对真实网页的抓取实验，比较了两种方法与传统爬虫的优势和不足。验证了该系统的可行性和有效性。
【关键词】：动态网页 网络爬虫 状态转换 Ajax
【学位授予单位】：中山大学
【学位级别】：硕士
【学位授予年份】：2014
【分类号】：TP393.092
【目录】：

• 摘要3-4
• ABSTRACT4-8
• 第1章 综述8-12
• 1.1 应用背景8
• 1.2 国内外研究现状8-9
• 1.3 本论文的研究内容和主要工作9-10
• 1.4 论文结构安排10-12
• 第2章 技术背景介绍12-28
• 2.1 动态网页中的 JAVASCRIPT12-14
• 2.2 AJAX 技术14-17
• 2.3 HTML DOM 模型和 BOM 模型17-22
• 2.4 传统网络爬虫架构简介22-23
• 2.5 爬虫系统相关引擎工具介绍23-27
• 2.6 本章小结27-28
• 第3章 基于状态转换的动态网页爬行算法28-40
• 3.1 传统爬虫爬行算法简述28-29
• 3.2 传统爬行算法的现实问题29-30
• 3.3 系统需求分析30
• 3.4 基于状态转换的动态网页爬行算法30-33
• 3.5 算法改进33-39
• 3.6 本章小结39-40
• 第4章 网络爬虫系统结构设计与实现40-70
• 4.1 基于状态转换的动态爬虫系统设计40-52
• 4.2 系统部分功能设计52-54
• 4.3 爬虫系统具体实现54-62
• 4.4 系统测试与结果分析62-69
• 4.5 本章小结69-70
• 第5章 总结和展望70-72
• 5.1 论文总结70-71
• 5.2 研究展望71-72
• 参考文献72-76
• 致谢76

【参考文献】

中国期刊全文数据库 前10条

1 宋鳌;支t$;周军;罗传飞;安然;;基于LCS的特征树最大相似性匹配网页去噪算法[J];电视技术;2011年13期

2 董斌;;静态页面生成的网站系统研究[J];福建电脑;2009年08期

3 刘晨曦;吴扬扬;;一种基于块分析的网页去噪音方法[J];广西师范大学学报(自然科学版);2007年02期

4 段青玲;杨仁刚;朱杨;;一种表单Ajax信息项提取方法[J];计算机工程;2011年03期

5 周立柱,林玲;聚焦爬虫技术研究综述[J];计算机应用;2005年09期

6 吕林涛;万经华;周红芳;;基于AJAX的Web无刷新页面快速更新数据方法[J];计算机应用研究;2006年11期

7 郭浩;陆余良;刘金红;;一种基于状态转换图的Ajax爬行算法[J];计算机应用研究;2009年11期

8 范轩苗;郑宁;范渊;;一种基于Ajax的爬虫模型的设计与实现[J];计算机应用与软件;2010年01期

9 陈雪;徐慧;沈家峻;;基于网页结构的网页去噪算法设计[J];软件;2013年08期

10 金晓鸥;钟宝燕;李翔;;基于Rhino的JavaScript动态页面解析研究与实现[J];计算机技术与发展;2008年02期

  本文关键词：基于状态转换的动态爬虫系统设计与实现，由笔耕文化传播整理发布。

本文编号：426578