一个网页分类系统的研究与实现

发布时间：2024-06-29 22:53

　　随着Internet的迅速普及和流行,数十亿的网站和网页为用户提供了巨大的访问信息资源,其内容几乎覆盖了每一个可以想到的主题。对网页按主题实现分类,建立相应的URL分类数据库,生成分类信息资源,一方面可以用来滤除不良网页净化网络环境,或者按照安全策略和用户意愿实现web的访问控制；另一方面可以为用户提供分类信息目录,实现网页分级管理和上网信息推荐,为用户提供更快捷和高效的查询结果,从而达到提高信息获取和信息处理质量的目的。因为网页大都以文本描述为主体,所以目前主流的网页分类技术大都是以web的文本分类为研究方向,通过设计合理的网页表示方式和使用文本分类算法来实现网页分类。 目前,国外的专业的安全设备提供商(McAfee,Blue Coat, Websense等)都有自己的在线实时查询分类结果的web平台。国内的安全设备提供商目前还没有为自己的“绿网”业务的分类结果数据库提供实时在线可查询的web页面平台。而且为了在推广“绿网”业务时,对“绿网”分类数据库进行展示,让用户测试体验公司的“绿网’产品,就有必要为用户提供一个基于web平台的网页分类结果可查询的系统。根据国内安全设备提供商的项...

【文章页数】：69 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 绪论
    1.1 课题背景
    1.2 课题任务
    1.3 论文结构
    1.4 本章小结
第二章 网页分类系统关键技术的研究
    2.1 HTML文档和DOM树简介
    2.2 网页的预处理技术
    2.3 网页文本预处理方法
        2.3.1 分词算法概述
        2.3.2 特征选择
        2.3.3 向量空间模型表示法
    2.4 文本分类算法
    2.5 本章小结
第三章 网页分类系统的需求分析
    3.1 实现目标
    3.2 系统的功能需求分析
    3.3 系统的性能需求分析
    3.4 系统运行环境和开发环境
    3.5 本章小结
第四章 主要功能模块方案的设计
    4.1 系统用户交互模块的实现方案的设计
    4.2 数据收集与处理模块实现方案的设计
    4.3 文本预处理模块实现方案的设计
    4.4 分类模块实现方案的设计
    4.5 本章小结
第五章 分类系统总体实现与主要流程
    5.1 系统整体流程设计
    5.2 分类结果数据库的建立
        5.2.1 网页数据收集与处理
        5.2.2 为LIBSVM准备数据
        5.2.3 分类的实现
    5.3 系统的整体实现
    5.4 本章小结
第六章 结束语
    6.1 对本论文的总结
    6.2 对下一步的展望
参考文献
致谢



本文编号：3998015