中国移动数据共享系统的设计与实现

发布时间：2020-08-21 01:04

【摘要】：中国移动作为中国最大的通信运营商,在几十年的运营过程中,积累了蕴含巨大价值的海量数据。中国移动集团公司为支撑省公司及地市子公司业务发展,委托华为公司为其构建大数据PaaS云平台。省公司、子公司及第三方厂商可入驻中国移动PaaS云平台,并在平台中申请资源,定制工具的开发。然而,由于平台租户资源隔离,数据无法在租户间流转。且存在不同租户的数据源异构,数据系统之间数据分散、冗余,数据挖掘应用获取跨领域数据困难等问题。而直接访问各个数据源工作量大,且不易协调。为此,中国移动建设其数据共享系统,为租户进行数据挖掘准备基础条件,成为发挥数据价值所必须先期解决的问题。本文通过对中国移动数据现状的分析,提出了构建中国移动数据共享系统面临的两个主要难题:(1)异构数据源集成难题。(2)数据共享难题。并给出了解决问题的方法。通过设计数据访问接口规范,对接异构数据源,实现异构数据源集成。通过发布数据、订阅数据的方式,实现数据共享。在数据共享的同时,实现低耦合、高可扩展性。论文阐述了项目背景,简述了相关研究与应用现状,综述了包括Docker、Kubernetes、Spring Boot、RBAC、Apache Shiro等相关技术。论文简述了系统总体规划,界定了系统边界,详细分析了系统需求,提炼出数据源接入、数据源服务管理、数据产品管理、订购管理、权限管理五大功能。在此基础上,阐述了系统设计思想及工作原理,通过系统架构结构设计、功能组成设计、系统部署设计、系统数据库设计等方式方法,对系统进行了概要设计。详细设计了数据源接入、数据源服务管理、数据产品管理、订购管理、权限管理五个功能模块,给出具体实现细节,并进行了系统测试。本系统已投入实际使用,较好地实现了中国移动多个异构数据源、多种模式的数据共享,为挖掘数据价值准备了基础条件,经用户实际使用,反馈良好。
【学位授予单位】：南京大学
【学位级别】：硕士
【学位授予年份】：2019
【分类号】：F626;TP311.52
【图文】：

系统边界,需求分析,租户

南京大学硕士论文逦第三章系统分析与总体设计逡逑数据市场运营等能力，用户通过系统的门户界面，查看数据源的元数据信息，将逡逑数据以数据产品的形式发布在平台上供其他租户订阅，同时平台租户也可以订阅逡逑其他租户发布的数据产品。发布的数据产品被订阅成功后，系统将通过返回数据逡逑使用凭证供用户连接数据源，或进行数据推送完成数据共享。其中数据推送需要逡逑使用ＰａａＳ平台的数据交换中间件的能力，包含定时任务调度引擎和数据迁移引逡逑擎组件，该部分设计与实现不在本系统设计和实现范围内。系统用户来源于中国逡逑移动ＰａａＳ云平台用户，ＰａａＳ平台提供了用户管理能力，本系统在ＰａａＳ平台逡逑的用户管理基础上，对系统内部角色进一步划分，对用户访问系统的操作权限进逡逑行校验。逡逑一邋一－一一一－：－－－－－－：－？－—－

用例图,数据产品,数据源,删除数据

凭证信息由数据源服务保存，用户发起获取凭证信息请求时，数据源服务查询凭逡逑证信息返回给用户。逡逑图３．２为数据源接入用例图。数据源服务针对具体的数据源，实现数据访问逡逑接口规范并对外开放数据访问接口，以满足数据访问要求。数据源服务在系统中逡逑起到了数据源适配的作用。根据上述功能需求的描述，数据源服务需要提供测试逡逑数据源连接、获取数据模型、创建数据产品、删除数据产品、订购数据产品、退逡逑订数据产品、下载凭证的能力。逡逑数据源服务逡逑＃?一．《包含〉〉一逡逑（＾＾￣删除视图逡逑—＼，二＝．＿一＜＾＂周期调度＾）逡逑数据产包逦＾逦逦＿＿’逡逑数据＾５＾－－－《包含时推送逡逑＼邋＼逡逑＼逦＼逦记录凭证信息ｊ逡逑数据包卜逡逑＼逦￣、、、、〈包含》、、逡逑＼逦、一＇＞、、数据推送逡逑图３．２数据源接入用例图逡逑本节将主要对创建数据产品、删除数据产品、订购数据产品和退订数据产品逡逑进行用例描述。创建数据产品需要根据发布模式对数据源进行视图操作或配置周逡逑１５逡逑

用例图,数据源,草稿,数据市场

需要注册不同的数据源服务以完成和不同数据源的对接。因此在数据市场中，需逡逑要对数据源服务进行管理，提供数据源服务草稿管理、发布数据源服务和下架数逡逑据源服务等功能。图３．３为数据源服务管理用例图。逡逑数据源服务管理逡逑〈，含Ｊ）逡逑逦＜＾邋＜＜包含》逡逑草稿管理〈包白＞〉＇＾查询逡逑ｎ逦包含》0逡逑Ｐ￣Ｙ＾逦〈＜，＞＞逦Ｌ邋｜逡逑ＵＪ＼＾＾逦测试连接，——数据源逡逑生产者服务逡逑＼逦数据市场逡逑广￣＜逦管理员逡逑ｋ下架数据源服务邋＞）－－＜〈包含＞＞－＞ｑ下架审批＾逡逑图３．３数据源服务管理用例图逡逑数据市场中可创建数据源服务草稿，配置数据源服务的信息，并提供数据源逡逑服务草稿的添加、删除、查询、修改和测试连接能力，连接成功的数据源服务草逡逑稿可申请发布，数据源服务拥有者可对其发布的数据源服务进行下架。通过在数逡逑据市场模块中注册数据源服务，系统可以灵活的对接数据源，且不需要关注数据逡逑源的具体细节。数据源服务草稿管理主要对数据源服务的访问ＵＲＬ、访问鉴权逡逑信息进行管理。此处以添加数据源服务草稿以及发布数据源服务为例

【相似文献】