基于词关联关系的文本内容分析

发布时间：2022-04-28 21:49

　　随着互联网的发展,网络上的信息内容和文本类型,从新闻、博客等长文本媒体到短信、微博等短文本变得日趋丰富。人们期待更加快捷、直观与智能的信息处理方式,因此文本内容分析中的主题表示、信息检索技术等研究逐渐成为研究热点。利用信息挖掘技术和自然语言处理进行有效信息组织,对大数据时代的信息处理具有极重要的理论意义和实用价值。作为文本的最小基本单位,词汇的正确构建,能够辅助文本模型建立,并在内容上揭示词和文本的潜在关系。一方面,词关系网络可以帮助检索。通过更加准确地重构查询词,明确表达用户的检索意图,提供更加精确的检索结果。克服单纯以查询词的出现检索包含用户所需信息的网页。另一方面,用词表示文本,以词间关系描述文本主题,可使得内容分析与呈现更加简洁,有效地实现知识发现。本文以词为研究对象,以文本内容分析为研究目的,在深度理解文本表示模型的基础上,进行了递进的词关系分析与文本挖掘研究,主要进行了四方面工作内容,创新和贡献如下：第一,提出了一种基于字关系的无监督文本关键词发现算法。结合字／词频共现,进行知识发现,获得更好的关键词和主题表的同时,能够产生许多新词,在一定程度上帮助中文语料构建词典,为后续... 

【文章页数】：57 页

【学位级别】：硕士

【文章目录】：
摘要
ABSTRACT
第一章 引言
    1.1 词关联关系的文本分析的背景与意义
    1.2 国内外研究现状
    1.3 作者硕士期间的主要研究工作
    1.4 论文主要工作
    1.5 本文组成
第二章 基于词关联关系的文本表示模型
    2.1 传统文本模型
        2.1.1 VSM——向量空间模型
        2.1.2 TF-IDF
        2.1.3 LSA、pLSA和LDA
        2.1.4 传统词模型的局限性
    2.2 词关系网络模型的应用
        2.2.1 基于统计
            2.2.1.1 条件随机场CRF
            2.2.1.2 基于CRF的中文倾向性判断
        2.2.2 基于规则
            2.2.2.1 COSE中的实体信息抽取模块
            2.2.2.2 基于规则的非结构化实体信息抽取
            2.2.2.3 结构化实体信息抽取规则
        2.2.3 两者结合的方法
    2.3 本章小结
第三章 基于词关系网络的文本关键词发现
    3.1 关键词抽取方法研究
        3.1.1 中外研究现状
        3.1.2 研究难点
    3.2 基于字关系的无监督关键词发现
        3.2.1 算法原理
        3.2.2 算法描述
    3.3 新闻语料中的关键词发现
        3.3.1 新闻语料特征
        3.3.2 新闻关键词抽取系统流程
        3.3.3 系统特色
    3.4 实验
        3.4.1 数据获取
            3.4.1.1 微博舆情中的热门转发模块
            3.4.1.2 数据框架
        3.4.2 实验结果及分析
    3.5 本章总结
第四章 检索系统中的词关系分析
    4.1 词关系网络及小世界性质
        4.1.1 直观描述
        4.1.2 词关系网络定义
        4.1.3 电阻网络模型
        4.1.4 词关联关系计算描述
    4.2 TREC微博评测系统中的扩展实现
        4.2.1 系统框架
        4.2.2 查询扩展子模块描述
    4.3 实验结果及分析
        4.3.1 数据集
        4.3.2 评价指标
        4.3.3 实验结果以及分析
    4.4 本章小结
第五章 基于词亲近模型的词关系网络及其可视化
    5.1 WAF词模型
        5.1.1 词激活力
        5.1.2 词关联度
    5.2 基于相似度计算的词聚类
        5.2.1 聚类算法描述
    5.3 词关系网络的可视化研究
        5.3.1 WAF的可视化及其实现
        5.3.2 COSE校园搜索引擎中的实体关系可视化
        5.3.3 基于亲近词查询演示系统的词的可视化展示
    5.4 本章小结
第六章 结束语
    6.1 工作总结
    6.2 工作展望
参考文献
致谢
作者攻读学位期间发表的学术论文目录



本文编号：3649601