基于知识图谱的电商信息抽取系统的设计与实现

发布时间：2024-01-25 20:14

　　互联网经过几十年的发展已经产生了大量的信息,利用这些信息将会产生巨大的经济效益。网页作为这些信息的载体在互联网中多以半结构化的形式存在。以互联网中的网页作为数据源抽取信息的WEB信息抽取技术伴随着互联网的发展而不断发展。电子商务作为互联网众多的应用模式之一,为人们的生产和生活带来方便的同时也产生了大量的商品信息。将电子商务网站中的商品信息进行抽取对商品推荐,市场分析等诸多领域拥有重要的价值。商品搜索结果页和商品信息详情页是电商网站展示商品信息的两类重要网页。这两类网页中因电商平台和商户的广告、推荐带来的搜索结果页噪声和详情页噪声导致现有的WEB信息抽取方法抽取准确率较低。同时,这两类网页在同一电商网站和不同电商网站有相似的页面设计,但拥有不同的页面结构导致现有抽取方法失效。针对上述问题,本文利用现有知识图谱中丰富的概念和实例信息,提出了一种基于知识图谱的电商信息抽取方法。该方法由知识图谱预处理和页面分析抽取共两部分构成,主要研究内容包括以下四点:(1)在抽取方法的知识图谱预处理部分中,提出了一种知识图谱预处理算法,通过计算指定领域中属性在该领域的领域值为页面降噪提供特征信息。(2)在抽...

【文章页数】：61 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第一章 绪论
    1.1 研究背景
    1.2 国内外研究现状
        1.2.1 国外研究现状
        1.2.2 国内研究现状
    1.3 研究目标及内容
    1.4 论文组织结构
第二章 相关理论及技术
    2.1 WEB信息抽取技术介绍
        2.1.1 基于包装器归纳的WEB信息抽取技术
        2.1.2 基于页面模板的WEB信息抽取技术
        2.1.3 基于本体的WEB信息抽取技术
        2.1.4 基于视觉信息的WEB信息抽取技术
    2.2 知识图谱相关知识介绍
        2.2.1 知识图谱概念介绍
        2.2.2 中文百科知识图谱zhishi.me介绍
    2.3 相关开源工具及框架介绍
        2.3.1 Selenium介绍
        2.3.2 ElasticSearch介绍
        2.3.3 Spring框架介绍
    2.4 本章小结
第三章 系统需求分析
    3.1 系统需求范围界定
        3.1.1 待抽取电商页面中的噪声
        3.1.2 待抽取电商网页中的页面结构
    3.2 系统功能需求分析
    3.3 系统非功能需求分析
    3.4 本章小结
第四章 基于知识图谱的电商信息抽取方法
    4.1 方法概述
    4.2 知识图谱预处理算法
    4.3 商品搜索结果页抽取算法
        4.3.1 页面分块
        4.3.2 页面特征提取
        4.3.3 页面降噪
        4.3.4 页面抽取
    4.4 商品信息详情页抽取算法
        4.4.1 页面分块
        4.4.2 页面特征提取
        4.4.3 页面降噪
        4.4.4 页面抽取
    4.5 实验与结果分析
        4.5.1 实验数据
        4.5.2 实验方法
        4.5.3 实验结果
    4.6 本章小结
第五章 系统设计实现与测试
    5.1 系统概要设计
        5.1.1 系统整体架构设计
        5.1.2 任务管理模块概要设计
        5.1.3 知识图谱服务模块概要设计
        5.1.4 页面分析与抽取模块概要设计
    5.2 系统详细设计与实现
        5.2.1 任务管理模块详细设计与实现
        5.2.2 知识图谱服务模块详细设计与实现
        5.2.3 页面分析与抽取模块详细设计与实现
    5.3 系统测试
        5.3.1 系统测试环境
        5.3.2 任务创建功能测试
        5.3.3 任务查询功能测试
        5.3.4 任务执行功能测试
        5.3.5 任务抽取结果查看功能测试
        5.3.6 任务重置功能测试
    5.4 本章小结
第六章 总结与展望
    6.1 总结
    6.2 展望
参考文献
致谢



本文编号：3885482