基于网络爬虫的垂直搜索引擎设计与实现

发布时间：2023-11-17 19:13

　　互联网技术飞速发展,用户对搜索结果的准确性和高效性提出了更高的要求,为满足用户需求,垂直搜索引擎应运而生。随着人工智能时代的到来,越来越多的用户希望在互联网中对人工智能领域的相关信息进行精准搜索。因此,本文通过对互联网中海量信息进行有策略的爬取和准确的筛选,设计并实现了一个既专业又全面的面向人工智能领域的垂直搜索引擎,该系统主要由信息采集、索引建立、用户搜索、用户注册登录及后台管理五大模块构成,能够为用户提供精确的主题搜索服务,主要完成工作如下:(1)对传统朴素贝叶斯分类算法的不足进行了研究,提出了一种基于Jensen-Shannon(JS)散度特征加权的朴素贝叶斯分类算法。通过进一步分析得出,仅用JS散度值来表示特征词所能提供的信息量仍有改进空间,于是将词频、文本频、类频相结合对JS散度做了进一步的修正,依照特征词对分类结果所产生作用的大小赋与其不同的权值,完成了对朴素贝叶斯算法的改进。通过实验表明,基于JS散度特征加权的朴素贝叶斯分类算法是一种较好的分类算法。(2)完成了对人工智能领域相关信息的采集和处理。对Webmagic爬虫框架进行了深入研究,在其基础上增加了网页内容的主题相关...

【文章页数】：94 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第一章 绪论
    1.1 研究背景及意义
    1.2 垂直搜索引擎的现状与发展
        1.2.1 国内外研究现状
        1.2.2 垂直搜索引擎的发展方向
    1.3 论文主要研究工作
    1.4 论文组织结构
第二章 垂直搜索引擎与系统相关技术
    2.1 垂直搜索引擎
        2.1.1 垂直搜索引擎的定义
        2.1.2 垂直搜索引擎与通用搜索引擎的比较
        2.1.3 垂直搜索引擎的特点
    2.2 主题爬虫相关技术
        2.2.1 朴素贝叶斯分类算法
        2.2.2 PageRank算法
        2.2.3 Webmagic框架
    2.3 索引相关技术
        2.3.1 Solr搜索服务器
        2.3.2 IK Analyzer分词器
    2.4 本章小结
第三章 朴素贝叶斯算法的研究与改进
    3.1 朴素贝叶斯算法的不足
    3.2 朴素贝叶斯算法的改进
        3.2.1 JS散度及其局限性
        3.2.2 特征词词频TF
        3.2.3 文本频率DF
        3.2.4 类别频率CF
        3.2.5 改进的加权朴素贝叶斯算法
    3.3 实验分析
        3.3.1 实验数据
        3.3.2 实验描述
        3.3.3 实验结果
    3.4 本章小结
第四章 面向人工智能领域垂直搜索引擎需求分析
    4.1 系统可行性分析
        4.1.1 系统设计实现目标
        4.1.2 需求可行性分析
        4.1.3 技术可行性分析
    4.2 系统功能需求分析
    4.3 系统非功能需求分析
    4.4 本章小结
第五章 面向人工智能领域垂直搜索引擎系统设计
    5.1 系统总体设计
        5.1.1 系统架构设计
        5.1.2 系统体系结构设计
    5.2 系统详细设计
        5.2.1 信息采集模块设计
        5.2.2 索引建立模块设计
        5.2.3 用户搜索模块设计
        5.2.4 用户注册登录模块设计
        5.2.5 系统后台管理模块设计
    5.3 数据库设计
    5.4 本章小结
第六章 面向人工智能领域垂直搜索引擎实现与测试
    6.1 系统环境的搭建与配置
        6.1.1 Webmagic框架的搭建
        6.1.2 Solr的搭建与配置
    6.2 系统实现
        6.2.1 信息采集模块实现
        6.2.2 索引建立模块实现
        6.2.3 用户搜索模块实现
        6.2.4 用户注册登录模块实现
        6.2.5 系统后台管理模块实现
    6.3 系统测试
    6.4 本章小结
第七章 总结与展望
    7.1 工作总结
    7.2 展望
致谢
参考文献
附录Ⅰ 攻读硕士学位期间取得的研究成果
附录Ⅱ 图版
附录Ⅲ 表版



本文编号：3864725