基于Scrapy技术的数据采集系统的设计与实现

发布时间：2023-06-28 03:44

　　近些年来,随着信息技术的不断发展和创新,互联网技术将各种数据以它极其快速和全方位的方式渗透到我们的日常生活当中。海量的互联网数据资源蕴含着巨大的价值财富,如何采集和利用这些数据成为了一个热门研究领域。手动编写网络爬虫程序,从互联网上采集人们需要的数据,对非计算机技术人员势必难度较大,而且实现效率低,不易于管理。基于此,探讨了一种基于Scrapy爬虫框架的数据采集系统的设计与实现,以提高数据采集整体效率,降低工作难度,并且便于用户管理。该文首先介绍了开发背景、意义和现状,然后介绍了系统设计的相关技术,对系统的需求进行了详细地分析。讨论了系统设计原则,设计了系统的总体结构。在此基础上,设计并实现了基于Scrapy爬虫框架的数据采集系统。系统架构分为三层,表示层采用了Html+jQuery+Bootstrap的组合来呈现网页,业务逻辑层由Web应用框架Django和数据采集框架Scrapy组成,数据层使用MySQL关系型数据库管理系统。Django具备较为完美的模版机制、对象关系映射机制,还能够创建出动态管理后台信息的界面。Scrapy是一个为了爬取网站数据、提取结构性数据而编写的爬虫应用框...

【文章页数】：60 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第一章 绪论
    1.1 开发背景及意义
    1.2 国内外同类系统的综述
    1.3 论文研究内容
    1.4 论文组织结构
    1.5 本章小结
第二章 相关技术介绍
    2.1 开发环境搭建
    2.2 浏览器端相关技术
        2.2.1 jQuery
        2.2.2 Bootstrap
        2.2.3 HTTP协议
    2.3 服务器端相关技术
        2.3.1 Django
        2.3.2 Scrapy
        2.3.3 MySQL
    2.4 本章小结
第三章 系统需求分析
    3.1 可行性分析
    3.2 功能需求分析
    3.3 非功能性需求分析
    3.4 本章小结
第四章 系统总体设计
    4.1 系统设计原则
    4.2 系统的架构设计
    4.3 系统总体设计
    4.4 系统数据库设计
        4.4.1 概念结构设计
        4.4.2 逻辑结构设计
        4.4.3 数据库配置信息
    4.5 本章小结
第五章 系统详细设计与实现
    5.1 系统登录模块
        5.1.1 系统登录流程图
        5.1.2 系统登录代码
    5.2 任务管理模块
    5.3 任务新建模块
    5.4 数据查询模块
    5.5 数据采集模块
    5.6 数据交互模块
    5.7 系统测试
        5.7.1 测试环境
        5.7.2 测试规划
        5.7.3 测试结果
    5.8 本章小结
第六章 总结与展望
    6.1 总结
    6.2 展望
参考文献
附录1 攻读硕士学位期间撰写的论文
致谢



本文编号：3835913