基于Spark平台的共享单车骑行分析
发布时间：2022-12-18 18:13
共享单车的快速发展为人们短途出行提供了一种便捷的方式,它是实现“网络交通”的方式之一,也是城市短距离交通系统的一种创新模式。它具有方便快捷、低碳环保等特点,有效解决人们出行的“最后一公里”问题。并影响着城市居民的日常出行方式,也缓慢地改变着城市的空间格局。然而,随着共享单车产业的快速发展,也带来了乱停放现象严重、资源配置失衡等粗放式运营问题。如何精细化运营共享单车,实现资源动态调度已成为共享单车发展中的一个重要问题。本文使用Python网络爬虫获取天津市区的摩拜单车数据,结合Apache Spark大数据平台研究骑行行为的时空间特征,并对结果可视化分析。本文研究内容如下:（1）结合大数据技术搭建了以Spark为核心的共享单车骑行分析的大数据处理平台,并使用BDP个人版体现数据的灵活性。（2）使用Python网络爬虫的形式获取天津市区的摩拜单车的数据集,并结合编程语言Python和Spark SQL对爬虫数据做数据预处理,并把经过数据清洗后的数据存储在HDFS上。（3）利用Spark SQL分析天津市区2017年8月的摩拜单车总量和摩拜单车利用率;分别从摩拜单车的骑行距离,骑行次数以及热...
【文章页数】：58 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
第一章 绪论
1.1 研究背景及意义
1.1.1 研究背景
1.1.2 研究意义
1.2 国内外研究现状
1.3 论文的主要内容及安排
1.3.1 论文的创新点和特色
1.3.2 论文结构安排
第二章 相关知识和技术简介
2.1 大数据技术
2.1.1 分布式数据存储
2.1.2 Spark大数据技术
2.1.3 BDP个人版可视化工具
2.2 平台搭建
2.2.1 安装环境
2.2.2 环境搭建
2.3 相关算法介绍
2.4 本章小结
第三章 数据获取和预处理
3.1 数据获取
3.1.1 爬虫简介
3.1.2 IP代理池设计
3.1.3 爬虫过程
3.2 数据预处理
3.2.1 格式处理
3.2.2 噪声处理
3.3 本章小结
第四章 单车使用特征分析
4.1 共享单车概述
4.2 单车骑行特征分析
4.2.1 单车骑行距离分析
4.2.2 单车骑行次数分析
4.2.3 单车区域分布情况
4.3 时间特征分析
4.4 本章小结
第五章 共享单车需求量分析
5.1 实验数据与评估方法
5.1.1 数据简介
5.1.2 评估方法
5.2 实验建模与评估
5.2.1 实验建模
5.2.2 模型评估
5.3 骑行需求分析
5.3.1 聚类点需求分析
5.3.2 时间点需求分析
5.4 本章小结
第六章 总结与展望
6.1 总结
6.2 展望
参考文献
致谢
【参考文献】：
期刊论文
[1]关于共享单车的时空分布研究与分析[J]. 刘硕秋,叶国清,邬博文,周素素. 中国高新区. 2018(04)
[2]基于聚类分析的共享单车时空分布模型[J]. 陶启萌. 中国战略新兴产业. 2018(04)
[3]共享单车最优选址问题的研究[J]. 肖磊,崔悦琪,钟丽,黄薰好. 中国商论. 2018(02)
[4]基于骑行时空数据的共享单车设施规划研究[J]. 邓力凡,谢永红,黄鼎曦. 规划师. 2017(10)
[5]十部委共推《关于鼓励和规范互联网租赁自行车发展的指导意见》[J]. 曹磊. 计算机与网络. 2017(17)
[6]趣说共享单车[J]. 李霄. 标准生活. 2017(07)
[7]分布式网络爬虫设计[J]. 郭丙琴,陈爱武. 湖南科技学院学报. 2017(06)
[8]共享单车与城市可持续发展——中国城市交通发展论坛2017年第一次专题研讨会[J]. 城市交通. 2017(03)
[9]BP算法建模在共享单车出行博弈中的运用[J]. 温有栋,黄婷. 科技广场. 2017(04)
[10]K-means聚类算法在高压开关设备机械状态评估中的应用[J]. 于维娟,张文涛,陈潇楠,毕迎华. 智能电网. 2015(07)
博士论文
[1]针对含有概念漂移问题的增量学习算法研究[D]. 孙宇.中国科学技术大学 2017
硕士论文
[1]基于分布式计算的多点地质统计方法研究[D]. 冀乾宇.西安石油大学 2016
[2]基于Spark的社交主题分析与应用[D]. 彭中正.电子科技大学 2016
[3]基于Spark的Relion分布式实现[D]. 赵先阳.华中科技大学 2016
[4]基于受限玻尔兹曼机的推荐算法研究[D]. 马贝.东南大学 2015
[5]基于Spark的数据处理分析系统的设计与实现[D]. 李爽.北京交通大学 2015
[6]基于MapReduce的聚类算法并行化研究[D]. 王恺.南京师范大学 2014
[7]基于Hadoop的海量期货数据的分布式存储和算法分析[D]. 李勇君.天津大学 2012
[8]Android平台下基于SQLite数据库的手机游戏设计与研究[D]. 周巍.昆明理工大学 2011
[9]数据挖掘中数据预处理的方法研究[D]. 方洪鹰.西南大学 2009
[10]机器学习在模拟电路故障诊断中的应用研究[D]. 谢薇薇.中国海洋大学 2009
本文编号：3722526
【文章页数】：58 页
【学位级别】：硕士
【文章目录】：
摘要
ABSTRACT
第一章 绪论
1.1 研究背景及意义
1.1.1 研究背景
1.1.2 研究意义
1.2 国内外研究现状
1.3 论文的主要内容及安排
1.3.1 论文的创新点和特色
1.3.2 论文结构安排
第二章 相关知识和技术简介
2.1 大数据技术
2.1.1 分布式数据存储
2.1.2 Spark大数据技术
2.1.3 BDP个人版可视化工具
2.2 平台搭建
2.2.1 安装环境
2.2.2 环境搭建
2.3 相关算法介绍
2.4 本章小结
第三章 数据获取和预处理
3.1 数据获取
3.1.1 爬虫简介
3.1.2 IP代理池设计
3.1.3 爬虫过程
3.2 数据预处理
3.2.1 格式处理
3.2.2 噪声处理
3.3 本章小结
第四章 单车使用特征分析
4.1 共享单车概述
4.2 单车骑行特征分析
4.2.1 单车骑行距离分析
4.2.2 单车骑行次数分析
4.2.3 单车区域分布情况
4.3 时间特征分析
4.4 本章小结
第五章 共享单车需求量分析
5.1 实验数据与评估方法
5.1.1 数据简介
5.1.2 评估方法
5.2 实验建模与评估
5.2.1 实验建模
5.2.2 模型评估
5.3 骑行需求分析
5.3.1 聚类点需求分析
5.3.2 时间点需求分析
5.4 本章小结
第六章 总结与展望
6.1 总结
6.2 展望
参考文献
致谢
【参考文献】：
期刊论文
[1]关于共享单车的时空分布研究与分析[J]. 刘硕秋,叶国清,邬博文,周素素. 中国高新区. 2018(04)
[2]基于聚类分析的共享单车时空分布模型[J]. 陶启萌. 中国战略新兴产业. 2018(04)
[3]共享单车最优选址问题的研究[J]. 肖磊,崔悦琪,钟丽,黄薰好. 中国商论. 2018(02)
[4]基于骑行时空数据的共享单车设施规划研究[J]. 邓力凡,谢永红,黄鼎曦. 规划师. 2017(10)
[5]十部委共推《关于鼓励和规范互联网租赁自行车发展的指导意见》[J]. 曹磊. 计算机与网络. 2017(17)
[6]趣说共享单车[J]. 李霄. 标准生活. 2017(07)
[7]分布式网络爬虫设计[J]. 郭丙琴,陈爱武. 湖南科技学院学报. 2017(06)
[8]共享单车与城市可持续发展——中国城市交通发展论坛2017年第一次专题研讨会[J]. 城市交通. 2017(03)
[9]BP算法建模在共享单车出行博弈中的运用[J]. 温有栋,黄婷. 科技广场. 2017(04)
[10]K-means聚类算法在高压开关设备机械状态评估中的应用[J]. 于维娟,张文涛,陈潇楠,毕迎华. 智能电网. 2015(07)
博士论文
[1]针对含有概念漂移问题的增量学习算法研究[D]. 孙宇.中国科学技术大学 2017
硕士论文
[1]基于分布式计算的多点地质统计方法研究[D]. 冀乾宇.西安石油大学 2016
[2]基于Spark的社交主题分析与应用[D]. 彭中正.电子科技大学 2016
[3]基于Spark的Relion分布式实现[D]. 赵先阳.华中科技大学 2016
[4]基于受限玻尔兹曼机的推荐算法研究[D]. 马贝.东南大学 2015
[5]基于Spark的数据处理分析系统的设计与实现[D]. 李爽.北京交通大学 2015
[6]基于MapReduce的聚类算法并行化研究[D]. 王恺.南京师范大学 2014
[7]基于Hadoop的海量期货数据的分布式存储和算法分析[D]. 李勇君.天津大学 2012
[8]Android平台下基于SQLite数据库的手机游戏设计与研究[D]. 周巍.昆明理工大学 2011
[9]数据挖掘中数据预处理的方法研究[D]. 方洪鹰.西南大学 2009
[10]机器学习在模拟电路故障诊断中的应用研究[D]. 谢薇薇.中国海洋大学 2009
本文编号：3722526
本文链接：https://www.wllwen.com/kejilunwen/jiaotonggongchenglunwen/3722526.html
