融合多策略的维吾尔语词干提取方法

发布时间：2017-06-28 17:04

  本文关键词：融合多策略的维吾尔语词干提取方法，由笔耕文化传播整理发布。

【摘要】：维吾尔语是形态变化复杂的黏着性语言之一,词的构成和其词义都是依赖于形式复杂的词缀连接来表示的。词缀不仅改变词根的词义,也会决定一个词在句子中的作用。因此只要正确的把词干和词缀分开才能正确的表示整体单词所表达的真正意义。到目前为止,维吾尔语词干提取的性能仍存在较大的改进空间。因此我们从维吾尔语构词特点出发,对维吾尔语词干进行了研究。本文针对维吾尔语词的形态结构特点出发,提出了两种维吾尔语词干提取模型,一个是融合多策略的维吾尔语词干提取模型。前辈的基于规则和统计相结合的维吾尔语词干提取方法的准确率达到了95%,为了解决前辈的系统切分当中存在的歧义现象和过度切分问题提出了融合词性特征和上下文词干信息。实验结果表明,与基准系统比较,融入的词性特征和上下文词干信息的词级实验准确率分别达到了95.19%和96.60%。另一个维吾尔语词干提取模型是基于词干-词缀统计量的维吾尔语词干提取模型,此方法的词干提取准确率达到了94%,为了进一步提高系统的性能,我们引入词干-词缀权重比例后准确率达到了95.69%。虽然这个方法对维吾尔语词干提取系统性能有所贡献,但后续还要进一步分析研究维吾尔语的词干-词缀,词干-复合词缀之间的语法规则来进一步提高词干提取系统的准确率。
【关键词】：词法分析 词干提取 N-gram模型 词性特征 上下文词干信息
【学位授予单位】：新疆大学
【学位级别】：硕士
【学位授予年份】：2016
【分类号】：TP391.1;H215
【目录】：

• 摘要2-3
• Abstract3-6
• 第一章 引言6-14
• 1.1 课题研究背景及意义6-9
• 1.1.1 研究背景6-7
• 1.1.2 研究意义7-9
• 1.2 国内外研究进展9-12
• 1.2.1 国外词干提取研究状况9-11
• 1.2.2 国内词干提取研究状况11-12
• 1.3 主要工作和组织结构12-14
• 第二章 维吾尔语词法规则14-22
• 2.1 维吾尔语词法特征14-17
• 2.1.1 维吾尔语弱化特性15-16
• 2.1.2 维吾尔语和谐规律16
• 2.1.3 元音脱落和辅音增音16-17
• 2.2 维吾尔语词类17
• 2.2.1 维吾尔语词性分类17
• 2.3 上下文信息概述17-18
• 2.4 维吾尔语词干切分分析18-19
• 2.5 维吾尔语音节切分分析19-20
• 2.6 词干提取语料库介绍20-22
• 第三章 词干提取模型22-27
• 3.1 基于规则的词干提取方法22
• 3.2 基于统计的词干提取方法22-25
• 3.2.1 N-Gram的语言模型23
• 3.2.2 隐马尔可夫模型23-24
• 3.2.3 后续变化模型24-25
• 3.3 基于混合词干提取方法25
• 3.4 常用平滑算法25-27
• 第四章 融合多策略的维吾尔语词干提取方法27-38
• 4.1 规则库的建立27-28
• 4.2 统计语言模型的建立28-30
• 4.3 基准系统存在的问题及解决方案30-31
• 4.4 维吾尔语词性特征31-33
• 4.5 上下文词干信息33-35
• 4.6 实验结果及分析35-38
• 4.6.1 实验设置35
• 4.6.2 实验结果及分析35-38
• 第五章 基于词干词缀统计量的维吾尔语词干提取方法38-44
• 5.1 基于词干词缀统计量的维吾尔语词干提取过程39-41
• 5.2 实验结果及分析41-44
• 5.2.1 实验设置41
• 5.2.2 实验结果与分析41-44
• 第六章 总结与展望44-45
• 参考文献45-48
• 攻读硕士期间发表论文和参加科研情况48-49
• 致谢49-50

【相似文献】

中国期刊全文数据库 前10条

1 祖菲亚·玉努斯;浅论维吾尔语中借词的出现及其对维吾尔语所产生的影响[J];新疆教育学院学报;2000年03期

2 曹春梅;浅析维吾尔语中的饮食用语[J];新疆职工大学学报;2000年03期

3 吾买尔·赛地;;浅议维吾尔语复合词[J];和田师范专科学校学报;2002年02期

4 华锦木;对我区维吾尔语专业现状与改革的思考[J];喀什师范学院学报;2003年05期

5 黄中民;浅论维吾尔语词的理据[J];喀什师范学院学报;2004年01期

6 李素秋;试论维吾尔语中的礼貌表示法[J];语言与翻译;2004年04期

7 菲达·乌马尔别克,阿孜古丽·阿不都热合曼;维吾尔语元音历史演变[J];新疆社科论坛;2005年03期

8 李燕萍;;维吾尔语人体词的隐喻特征和文化意蕴[J];语言与翻译;2006年02期

9 穆合塔尔·阿不都热西提;;浅谈维吾尔语詈词及文化内涵[J];语言与翻译;2007年04期

10 廖泽余;;维吾尔语词语理据说略[J];语言与翻译;2008年04期

中国重要会议论文全文数据库 前10条

1 吾买尔江·库尔班;阿里甫·库尔班;;维吾尔语框架语义知识库语义角色描述体系研究[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年

2 阿里甫·库尔班;吾买尔江·库尔班;尼加提·阿不都肉苏力;;维吾尔语框架语义网的数据库结构的设计[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年

3 古丽娜尔·艾力;买买提玉素甫·苏来曼;;维吾尔语语音数据自动标注[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年

4 阿布都热依木·热合曼;艾山·吾买尔;吐尔根·依布拉音;帕里旦·吐尔逊;哈里旦木·阿布都克里木;;维吾尔语句法树库标注体系[A];少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C];2010年

5 艾斯卡尔·艾木都拉;;维吾尔语鼻音的声学特征分析[A];第九届中国语音学学术会议论文集[C];2010年

6 梁洁;杨新璐;;维吾尔语韵律层级边界感知及其声学特征研究[A];第九届中国语音学学术会议论文集[C];2010年

7 阿依克孜.卡德尔;开沙尔.卡德尔;吐尔根.依布拉音;;面向自然语言信息处理的维吾尔语名词形态分析研究[A];第二届全国学生计算语言学研讨会论文集[C];2004年

8 吾守尔.斯拉木;马欢;;维吾尔语文语转换系统的研究[A];第十届全国少数民族语言文字信息处理学术研讨会论文集[C];2005年

9 易斌;;维吾尔语元音/y/的声学特征分析[A];第十届全国少数民族语言文字信息处理学术研讨会论文集[C];2005年

10 艾斯卡尔·艾木都拉;赛尔达尔·雅力坤;祖丽皮亚·阿曼;地里木拉提·吐尔逊;;维吾尔语浊塞音的声学特征分析[A];第十二届全国人机语音通讯学术会议（NCMMSC'2013）论文集[C];2013年

中国重要报纸全文数据库 前10条

1 记者井波、实习生郁萌;维吾尔语水平考试系统进入研发阶段[N];新疆日报(汉);2010年

2 特约记者 蔺高峰 通讯员 武瑞;女法医“西日古丽”[N];喀什日报(汉);2010年

3 本报记者 任红芳;阿克苏电视台维吾尔语译制中心录音棚投用[N];阿克苏日报;2010年

4 一东;以多语种服务打造沟通新渠道[N];亚洲中心时报(汉);2011年

5 自治区地方志编委会、自治区党委驻伽师县工作队 张坚义;语言架起沟通心灵的桥梁[N];新疆日报(汉);2012年

6 刘冰;从王蒙流利的维吾尔语想到的[N];中国民族报;2013年

7 记者 江亚平;搞分裂慌不择言,热比娅谎话连篇[N];新华每日电讯;2009年

8 陈学迅;王蒙谈维吾尔民族语言文化[N];新疆日报(汉);2005年

9 记者 王新红;中央人民广播电台新疆维吾尔语编辑部工程开建[N];新疆日报(汉);2010年

10 记者 达·照日格图;我国首部蒙古文字手机研制成功[N];内蒙古日报(汉);2006年

中国博士学位论文全文数据库 前10条

1 阿布都那扎尔·阿布都拉;维吾尔语构词词缀历时比较研究[D];中央民族大学;2009年

2 巴克力·阿卜杜热西提;古代维吾尔语医学文献的语文学研究[D];中央民族大学;2013年

3 倪宏鸣;维吾尔语和阿美语语言特征对比分析[D];中央民族大学;2007年

4 魏玉清;维吾尔语和谐现象的音系学研究[D];华东师范大学;2010年

5 尼加提·苏皮;维吾尔语伊犁土语研究[D];中央民族大学;2010年

6 斯迪克江·伊布拉音;现代维吾尔语中的比喻研究[D];华东师范大学;2008年

7 阿克里·先木西;维吾尔语表语—系动词谓语结构[D];中央民族大学;2012年

8 吐尔逊·卡得;维吾尔语柯坪土语研究[D];中央民族大学;2011年

9 木再帕尔（Muzappar Abdurusul）;论维吾尔语的名词化短语[D];中央民族大学;2007年

10 席艳玲;维吾尔语失语症特点及其检查法的标准化研究和维吾尔族、汉族正常人脑激活区差异性的fMRI研究[D];新疆医科大学;2013年

中国硕士学位论文全文数据库 前10条

1 魏文娟;改革开放以来维吾尔语新词研究[D];新疆大学;2008年

2 阿孜古丽·阿不都热西提;维吾尔语伊犁土语中的借词研究[D];西北民族大学;2008年

3 张红;探析维吾尔语中茶文化[D];新疆师范大学;2012年

4 热依拉·艾纰漏拉;汉语—维吾尔语颜色词翻译对比研究[D];中央民族大学;2013年

5 孔席梅;维吾尔语和回族话中借词的分析比较[D];新疆师范大学;2013年

6 热那古力·如孜;察哈台语文献《祖胡利诗集》(Divān_(-1) (?)uh ūr_1)的研究[D];中央民族大学;2015年

7 美合日班·吐尔洪;腭咽闭合不全患者维吾尔语辅音/gh/特点及其矫正方法的初探[D];新疆医科大学;2016年

8 阿地拉·瓦尔斯;维吾尔语子女教育主题的谚语分析[D];新疆师范大学;2016年

9 穆开热姆·伊萨米丁;维吾尔语专业学生使用兼代副动词偏误分析[D];新疆师范大学;2016年

10 杨勇;维吾尔语专业学生听说教材使用调查研究[D];新疆师范大学;2016年

  本文关键词：融合多策略的维吾尔语词干提取方法，，由笔耕文化传播整理发布。

本文编号：494584