基于微服务架构的大数据分析平台设计与实现

发布时间：2024-07-05 02:11

　　当今社会,科技发展迅猛,各行各业的应用“互联网+”的规模越来越大,各行各业在应用中产生的数据呈喷井式的增长。很多行业应用产生的数据已经远远超出了传统企业的数据处理能力。然而对于许多企业来说,如何使用这些海量数据集是未来发展中取胜的重要因素。所以企业迫切需要应用大数据分析技术,去发现这些数据隐藏的规律,然后利用这些规律和分析帮助它们最大化的去压缩成本、提高转化率和工作效率、做出更加正确的选择等。随着用户增加和平台的发展,需求会越来越多,平台的需要不停地进行扩展。显然单体应用的架构并不能适应业务发展的需要。本文在Spark+R的双计算引擎和Hadoop集群基础上,通过搭建一个基于微服务的大数据分析平台,既能满足为企业提供一站式分析的需要,又使系统具备易扩展、可用性,符合迅捷开发的要求。本文的工作主要包含以下几个方面:首先描述了大数据分析平台需要实现的目标和要解决的问题,针对需要解决的问题,进行了数据导入、数据分析、数据可视化的功能性需求分析、以及非功能性需求分析和微服务架构需求分析。然后,根据所做的需求分析对系统进行了架构设计,完成了系统逻辑架构、技术架构、功能架构的设计,以及系统的主要流...

【文章页数】：101 页

【学位级别】：硕士

【部分图文】：

图4-1应用行为分析平台架构

中国石油大学（华东）全日制工程硕士学位论文35第四章基于微服务架构的行为分析大数据平台设计与实现4.1应用行为分析系统的设计与实现4.1.1系统总体架构根据应用系统部署分散的特点，设计应用行为分析平台架构如图4-1所示。应用行为分析平台主要由数据收集层、数据存储层、数据处理层、数....

图4-2应用日志数据收集流程

第四章基于微服务架构的行为分析大数据平台设计与实现36数据可视化层：用于分析结果的图表的可视化展示。其中数据的图形化展示基于Echarts[72]可视化插件来完成，图表的数据通过报表程序模块来完成。4.1.2应用数据收集方案在分析应用业务之前，需要收集相关数据。根据业务现状和调研....

图4-6数据处理分析流程

第四章基于微服务架构的行为分析大数据平台设计与实现40过程直到数据格式满足运行算法的基本要求。第三步：用户在对数据就行预处理分析完成后，可以选择相应分析算法进一步查看分析结构，因此该模块将SparkMLlib的常用算法进行了封装，方便用户快速使用各种算法来分析。通时系统还支持自定....

图4-9访问设备信息展示Fig4-9Accesstotheequipmentinformationdisplay

第四章基于微服务架构的行为分析大数据平台设计与实现42行重新架构，使其能适应移动办公业务的需求。其中操作系统信息和IE信息用于提供的占比用于为以后的应用扩展、兼容性等因素提供指标依据。图4-9访问设备信息展示Fig4-9Accesstotheequipmentinformatio....

本文编号：4000876