浅谈一种面向大数据行业的智能搜索引擎技术

发布时间：2021-12-23 19:39

　　大数据这个名词诞生于2008年,其主要应用于商业智能、互联网、云计算,最重要应用突出在人工智能领域。其主要特点是大量、高速、多样、价值及真实性。智能搜索引擎在大数据中应运而生,并且在不断的发展。通过介绍智能搜索引擎的技术选型、框架结构、技术实现方法及技术难点、主要系统功能等,分析其在大数据时代的实际应用性能。可为类似智能科技提供经验。 

【文章来源】：计算技术与自动化. 2020,39(02)

【文章页数】：7 页

【部分图文】：

索引目录

查询结构图

d.分布式索引（见附图5）：通过SolrCloud实现分布式索引，SolrCloud中包含有多个Solr Instance，而每个Solr Instance中包含有多个Solr Core,Solr Core对应着一个可访问的Solr索引资源，每个Solr Core对应着一个Replica或者Leader，这样一来，就可以实现对Solr集群的快速访问，效率相比较过去明显提高。在solrcloud的众多solr服务中，solr分两种角色，leader和非leader，当solr实例数量发生变化时会重新进行选举leader。要解决这个问题，可以通过使用solrcloud，其中的shard和replica是透明的，且任何一台机器都可以接受查询、修改、删除请求，创建collection、shard、replica，更新索引等数据修改操作只能由leader进行，避免产生并发修改问题，当非leader节点收到修改操作请求时，要将请求信息存储在zookeeper中相应节点上，leader节点对该zookeeper信息进行监听，近实时进行处理。

【参考文献】：
期刊论文
[1]基于关联规则的网络行为分析[J]. 刘宗成,张忠林,田苗凤.  电子科技. 2015(09)
[2]基于小波聚类的网络用户行为分析[J]. 陈嘉翼.  计算机光盘软件与应用. 2015(01)
[3]分布式存储系统HBase关键技术研究[J]. 张智,龚宇.  现代计算机(专业版). 2014(32)
[4]社会化电商用户需求挖掘初探[J]. 王洪艳.  电子商务. 2014(08)
[5]一个基于hadoop的并行社交网络挖掘系统[J]. 李冠辰.  软件. 2013(12)
[6]Web数据挖掘在搜索引擎中的运用[J]. 王刚,张顺.  计算机光盘软件与应用. 2013(16)
[7]基于百度搜索日志的用户行为分析[J]. 董志安,吕学强.  计算机应用与软件. 2013(07)
[8]基于文本聚类与分布式Lucene的知识检索[J]. 冯汝伟,谢强,丁秋林.  计算机应用. 2013(01)
[9]基于Hadoop的搜索引擎用户行为分析[J]. 王振宇,郭力.  计算机工程与科学. 2011(04)
[10]传统数据库技术与信息检索技术的集成[J]. 郑益,毛楚祥.  计算机时代. 2010(08)



本文编号：3549067