基于大数据平台的运营商数据改造治理

发布时间：2020-11-11 11:43

　　 本论文依据2018年在香港某运营商大数据平台项目案例,通过梳理现阶段此运营数据处理中存在的诸多问题与困难,例如:各方数据源未统一接入、数据口径不一致、手工处理环节多、大量的单体应用堆叠,应用靠人工开发,人员技能要求高,数据分析支撑的平台小、起点低、设备少、缺乏智能化分析手段,无法有效挖掘数据价值等等。筛选匹配业界现有开源大数据平台组件,利用浪潮云海大数据平台,提供技术开放化、架构服务化、编排工具丰富易用、体系完整并满足运营商要求的遵循国际标准,安全、稳定、高效的建设方案。本文首先根据运营商所提出的2018年大数据平台建设规划,详细介绍了改造项目通过网络爬虫、HBase集群、流计算处理引擎、搜索引擎、数据治理、数据挖掘、图数据库等模块的建设,丰富数据采集手段、完善数据城邦、优化计算和查询效率、深度治理数据,从而挖掘组织数据价值;在平台架构上完善并实现大数据,其次参考并遵循《中国移动企业级省大数据平台技术规范》内容,按照“平台+工具+服务”的模式,“一体化、分层开放”思路;提升数据统一支撑内外部部门多样、灵活的大数据共享、应用服务需求,为运营商各部门多样的灵活的大数据共享、应用和服务提供有力支撑;其次在业务上,实现用户行为分析、探索用户关系图谱,最终通过成体系的组织数据治理为运营商业务分析和数字化转型提供强有力的支撑。本文创新点在于使用业界最流行技术框架,梳理运营商0/B/M三域数据应用,尤其是专业化运营香港当地的语音、数据、IDD及国际漫游等业务,为企业提供创新及多元化的通信服务。使数据经过彼此的融合与开放,不断激发巨大商业价值,孵化创新无限可能。并结合人工智能、机器学习等新技术,利用平台的资源、数据、工具服务能力封装从而使数据驱动运营商业务创新。也为网络智能支撑体系和敏捷管理支撑体系的建设提供有力保障,更是未来公司数字化转型的助推器。
【学位单位】：山东大学
【学位级别】：硕士
【学位年份】：2019
【中图分类】：F626;TP311.13
【文章目录】：
摘要
ABSTRACT
第1章 绪论
    1.1 大数据处理技术现状
    1.2 大数据的应用对运营商的意义
    1.3 浪潮大数据平台架构简介
    1.4 论文内容及安排
第2章 大数据平台数据采集方案
    2.1 批量数据采集
    2.2 流数据采集
        2.2.1 流数据采集
        2.2.2 SDTP采集的处理流程
        2.2.3 SDTP采集部署
    2.3 互联网数据采集
        2.3.1 采集任务
        2.3.2 数据标记
        2.3.3 数据存储
        2.3.4 数据开放
    2.4 数据存储与处理
        2.4.1 概述
        2.4.2 数据存储
        2.4.3 批数据处理
        2.4.4 流数据处理
            2.4.4.1 消息队列
            2.4.4.2 流计算引擎
            2.4.4.3 流计算结果存储
    2.5 数据服务工具
第3章 大数据平台数据治理
    3.1 数据标准管理
        3.1.1 数据标准元数据管理
        3.1.2 数据字典标准管理
        3.1.3 数据标准导入
        3.1.4 元数据导入
        3.1.5 元数据抽取
        3.1.6 元数据浏览分析
        3.1.7 元数据检索
    3.2 数据模型管理
        3.2.1 物理建模
        3.2.2 模型审批
        3.2.3 模型盘点
    3.3 数据质量管理
        3.3.1 数据质量规则
        3.3.2 数据质量监控
        3.3.3 数据质量报告
        3.3.4 数据质量知识库
    3.4 数据资产管理
        3.4.1 数据资产目录
        3.4.2 资产生命周期
        3.4.3 资产统计分析
        3.4.4 资产健康度评估
        3.4.5 资产开放运营
    3.5 数据治理服务
        3.5.1 数据治理服务范围
        3.5.2 数据治理服务方法
第4章 大数据平台运维管理
    4.1 概述
    4.2 用户管理
        4.2.1 用户管理
        4.2.2 用户审计
    4.3 多租户管理
        4.3.1 门户
        4.3.2 资源配额
        4.3.3 资源授权
        4.3.4 资源空间
        4.3.5 数据资源
    4.4 日志管理
    4.5 运维监控
        4.5.1 仪表盘
        4.5.2 服务管理
        4.5.3 告警管理
第5章 系统部署方案
    5.1 平台建设范围
    5.2 系统部署图
    5.3 操作系统及相关要求
    5.4 系统服务器列表
第6章 总结与展望
    6.1 总结
    6.2 展望
参考文献
致谢
学位论文评阅及答辩情况表

【相似文献】

相关期刊论文 前10条

1 ;重庆:2020年建成健康医疗大数据平台体系[J];吉林医学信息;2016年12期

2 张钧;丁正喜;;用户体验下的政府开放数据平台评价分析[J];中国新通信;2019年22期

3 韩阳;;大数据时代下高校智慧校园的数据平台分析[J];营销界;2019年43期

4 俞宙;;省级毕业生就业大数据平台建设模式初探[J];信息系统工程;2018年11期

5 孙唯特;;高校智慧校园建设中的数据平台设计[J];信息通信;2019年01期

6 张瑜;程明霞;;高校智慧校园建设中校友数据平台的设计研究——以日照职业技术学院为例[J];中国多媒体与网络教学学报(中旬刊);2019年05期

7 王勇;;企业大数据平台建设中的问题及对策探讨[J];信息系统工程;2019年06期

8 魏国华;郭翔宇;康志英;;内蒙古移动旅游大数据平台项目应用创新[J];信息通信;2019年11期

9 张世瑛;;大数据平台基础能力和性能诊断分析[J];区域治理;2019年29期

10 何庆;李冠道;周乐坤;严敏;;大数据平台的集中访问控制[J];网络安全和信息化;2018年01期

相关博士学位论文 前3条

1 王华伟;铁路运输设备技术状态大数据平台研究[D];中国铁道科学研究院;2017年

2 姚竞争;数字化造船一体化数据平台关键技术研究[D];哈尔滨工程大学;2011年

3 张伟;基于油田多源数据分析的油藏管理研究[D];长安大学;2013年

相关硕士学位论文 前10条

1 黄莉;中泰商务大数据平台建设研究[D];云南财经大学;2019年

2 沈晰强;小麦-气象-收割机作业时间的时空分析及数据平台研究[D];浙江大学;2019年

3 张耀隆;面向自动驾驶的数据平台关键技术研究[D];哈尔滨工业大学;2019年

4 张玫;YD公司大数据旅游应用的服务营销策略研究[D];云南大学;2017年

5 陈志晗;基于大数据平台推进服务型政府建设研究[D];厦门大学;2018年

6 穆晨阳;大同市精准扶贫数据平台的设计与实现[D];西安电子科技大学;2019年

7 张志昂;基于大数据平台的运营商数据改造治理[D];山东大学;2019年

8 龚建行;吉林省建筑大数据平台建设路径研究[D];吉林建筑大学;2019年

9 李志勇;公众使用医疗大数据平台意愿影响因素调查分析[D];江西财经大学;2019年

10 王金;基于深度强化学习的大数据平台作业调度算法与仿真实现[D];电子科技大学;2019年

本文编号：2879140