自然语言处理平台化软件的设计与实现

发布时间：2017-05-13 08:10

  本文关键词：自然语言处理平台化软件的设计与实现，由笔耕文化传播整理发布。

【摘要】：搜索引擎、人工智能已经深入到人们生活的方方面面,而自然语言处理又是搜索引擎和人工智能的核心步骤。但是,目前在使用自然语言算法处理的过程中存在诸多的问题,主要表现为使用自然语言处理的算法比较复杂,同时相关算法的调用通常只能通过本地静态链接加载模式,导致系统对自然语言处理效率低下。为此,本文结合企业实际研发项目,提出了一种自然语言平台化的方案来有效解决上述的问题。论文的主要工作包括以下几方面内容：首先,设计了四种不同计算架构用于支持不同场景下自然语言处理的计算服务。四种计算架构分别是：普通流式计算架构,适合普通的较稳定快速的架构服务：在线计算架构,适合对于延迟有极高要求的在线服务；大规模离线架构,适合吞吐量极大离线计算服务；本地计算架构,适合占用资源少但访问量比较高的算法。其次,设计了统一的自然语言处理服务调用接口。该接口封装了四种架构的服务调用,屏蔽了四种架构的访问的差异性,为用户提供了简单高效的自然语言处理服务：该接口为用户提供了C++和pychon语言编程以及HTTP调用两种访问模式。最后,利用zookeeper、inotify和RPC等技术,完成了自然语言处理平台化软件的开发。系统实际运行表明,系统各项功能符合设计要求,并在负载均衡、故障恢复、流量控制和统计等方面性能优越,取得了良好的应用效果。
【关键词】：自然语言处理 异构架构平台 分布式系统 大规模计算
【学位授予单位】：东南大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP311.52
【目录】：

• 摘要4-5
• Abstract5-8
• 第一章 绪论8-13
• 1.1 研究背景及意义8-9
• 1.2 研究内容9-10
• 1.3 研究现状10-11
• 1.4 研究的目标与内容11-12
• 1.5 论文的主要内容及组织12-13
• 第二章 关键技术13-19
• 2.1 流式计算13
• 2.2 多种语言接口13-14
• 2.3 统一的日志收集和监控14-15
• 2.4 Zookeeper15-16
• 2.5 inotify特性16
• 2.6 RPC通讯框架16-17
• 2.7 本章小结17-19
• 第三章 系统架构设计及实现19-51
• 3.1 总体架构设计19-23
• 3.2 系统工作流程23-24
• 3.3 系统设计24-26
• 3.3.1 普通流式模型的流式计算模型的运用25
• 3.3.2 配置文件25-26
• 3.4 系统架构26-38
• 3.4.1 普通流式系统服务架构26-28
• 3.4.2 在线计算架构28
• 3.4.3 大规模计算架构28-30
• 3.4.4 本地计算架构30-32
• 3.4.5 统计服务架构32-35
• 3.4.6 负载均衡的架构35-36
• 3.4.7 故障排查的架构36-37
• 3.4.8 流量控制的架构37-38
• 3.5 普通流式计算架构的实现38-39
• 3.6 在线计算架构的实现39-43
• 3.7 在线计算架构的实现43-45
• 3.8 大规模离线计算架构的实现45-50
• 3.9 本章小结50-51
• 第四章 实验测试以及结果分析51-55
• 4.1 普通流式计算架构的测试分析51-52
• 4.2 在线计算架构的测试分析52
• 4.3 大规模离线计算架构的测试分析52-53
• 4.4 本地计算架构的测试分析53-54
• 4.5 本章小结54-55
• 第五章 总结与展望55-57
• 5.1 总结55-56
• 5.2 展望56-57
• 致谢57-58
• 参考文献58-59

【相似文献】

中国期刊全文数据库 前10条

1 ;《统计自然语言处理基础》[J];中文信息学报;2005年03期

2 徐继伟;;自然语言处理技术在生物信息学中的应用(英文)[J];生物信息学;2006年01期

3 王挺;麦范金;刘忠;;自然语言处理及其应用前景的研究[J];桂林航天工业高等专科学校学报;2006年04期

4 ;第二届全国少数民族青年自然语言处理学术研讨会召开[J];模式识别与人工智能;2008年05期

5 高精揓;萧国政;姬东鸿;;手持嵌入式系统应用中的自然语言处理关键技术[J];长江学术;2009年02期

6 冯志伟;;自然语言处理中的一些宏观问题之我见[J];中国外语;2009年05期

7 曹佩;;论自然语言处理[J];信息与电脑(理论版);2010年05期

8 邵泽国;;语言科学发展的新分支——自然语言处理[J];电子科技;2013年05期

9 李霞;;面向本科阶段开设的“自然语言处理”课程教学研究[J];福建电脑;2013年07期

10 贺广明;;自然语言处理的六个级别[J];情报杂志;1988年04期

中国重要会议论文全文数据库 前10条

1 马颖华;苏贵洋;;基于概念的自然语言处理[A];第一届学生计算语言学研讨会论文集[C];2002年

2 李生;;哈工大自然语言处理研究进展[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年

3 ;哈尔滨工业大学智能技术与自然语言处理研究室简介[A];中国中文信息学会第六次全国会员代表大会暨成立二十五周年学术会议中文信息处理重大成果汇报展资料汇编[C];2006年

4 冯志伟;;自然语言处理中的理性主义和经验主义[A];民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C];2007年

5 宋柔;;自然语言处理中语言知识的基础性地位[A];民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C];2007年

6 李文;程华良;彭耀;温明杰;肖威清;张陈斌;陈宗海;;自然语言处理云平台[A];系统仿真技术及其应用学术论文集（第15卷）[C];2014年

7 徐超;毕玉德;;面向自然语言处理的韩国语隐喻知识库构建研究[A];中国计算语言学研究前沿进展（2009-2011）[C];2011年

8 周国栋;孔芳;朱巧明;;指代消解：国内外研究现状及趋势[A];内容计算的研究与应用前沿——第九届全国计算语言学学术会议论文集[C];2007年

9 ;SWCL-2006组织机构[A];第三届学生计算语言学研讨会论文集[C];2006年

10 张sソ，

本文编号：362001