多源异构交通大数据智能分析技术研究

发布时间：2022-02-25 04:53

　　随着检测技术的不断发展和交通决策者信息共享技术的逐步成熟,智能交通系统数据采集设备存储了海量的城市交通数据,如何分析海量的多源异构交通数据,研究影响其时空分布特征的因素,成为当今智能交通系统研究的重点。然而,传统的数据处理以及计算分析方法已不能满足庞大数据急速增加迫切需求,因此,需采用智能分析技术高效挖掘多源异构交通大数据的潜在价值,为城市交通的有序发展提供具有较高价值密度的数据信息,从而逐步提高我国城市交通管理水平。以分析某市多源异构交通大数据为例,在部署Hadoop大数据平台基础上,针对复杂、庞大的交通数据源,通过历史数据修复法以及时间序列分析分别补充了不同类型交通流数据的缺失值,并提出了采用词频统计方法和K-means聚类算法开展多源异构交通大数据智能分析技术研究。通过词频统计方法智能分析了交通流量周分布特征与空气质量等级之间的关系,道路事故和车辆违法数据的时空分布特征。以时间为聚类标签,通过Hadoop集群并行计算K-means聚类方法,智能分析了交通流量、道路事故以及车辆违法数据不同类别之间的相似和差异特征。最后,基于“HTML+CSS+Java Script+Echarts... 

【文章来源】：华北理工大学河北省

【文章页数】：78 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
引言
第1章 绪论
    1.1 研究背景及意义
        1.1.1 研究背景
        1.1.2 研究意义
    1.2 国内外研究现状
        1.2.1 国外研究现状
        1.2.2 国内研究现状
        1.2.3 研究现状分析总结
    1.3 研究内容与方法
        1.3.1 研究内容
        1.3.2 研究方法
    1.4 技术路线
    1.5 本章小结
第2章 交通大数据理论及关键技术
    2.1 交通大数据理论基础
        2.1.1 大数据技术
        2.1.2 交通大数据
        2.1.3 大数据技术应用于交通系统管理
    2.2 Hadoop大数据技术
        2.2.1 Hadoop生态系统
        2.2.2 HDFS分布式文件系统
        2.2.3 MapReduce分布式计算框架
        2.2.4 Sqoop数据传输工具
    2.3 本章小结
第3章 多源异构交通大数据智能特征分析
    3.1 多源异构交通大数据及来源
        3.1.1 交通流量数据
        3.1.2 道路事故数据
        3.1.3 车辆违法数据
        3.1.4 气象数据
    3.2 多源异构交通大数据清洗
        3.2.1 冗余数据处理
        3.2.2 缺失数据处理
    3.3 智能特征分析方法
        3.3.1 词频统计方法
        3.3.2 词频统计智能方法实现
    3.4 交通流量大数据智能特征分析
    3.5 道路事故大数据智能特征分析
        3.5.1 时间特征分析
        3.5.2 空间特征分析
    3.6 车辆违法大数据智能特征分析
        3.6.1 时间特征分析
        3.6.2 空间特征分析
    3.7 本章小结
第4章 多源异构交通大数据智能聚类分析
    4.1 聚类分析方法
    4.2 K-means聚类分析算法
        4.2.1 K-means聚类算法概述
        4.2.2 K-means聚类算法流程
    4.3 K-means智能聚类算法实现
    4.4 交通大数据智能聚类分析
        4.4.1 聚类参数K值选择
        4.4.2 交通流量智能聚类结果分析
        4.4.3 道路事故智能聚类结果分析
        4.4.4 车辆违法智能聚类结果分析
    4.5 本章小结
第5章 多源异构交通大数据可视化分析平台
    5.1 Hadoop集群环境搭建
        5.1.1 Hadoop集群环境部署规划
        5.1.2 Hadoop集群环境部署
        5.1.3 Sqoop环境搭建
        5.1.4 Oracle client搭建
    5.2 可视化分析平台实现
        5.2.1 系统架构
        5.2.2 道路事故分析
        5.2.3 交通流量分析
        5.2.4 车辆违法分析
    5.3 本章小结
结论
参考文献
致谢
导师简介
作者简介
学位论文数据集


【参考文献】：
期刊论文
[1]道路交通事故的成因分析及预防研究[J]. 布和.  武汉公安干部学院学报. 2019(02)
[2]基于自匹配模块的城市交通数据动态融合处理系统[J]. 李祖文,何增镇,苏红帆,农昭光.  计算机应用与软件. 2019(06)
[3]城市多源交通数据分析处理关键技术研究[J]. 徐卫,朱翔宇,刘志.  浙江工业大学学报. 2018(03)
[4]基于SAR模型的交通流数据分析——以贵阳市交通数据为例[J]. 王亚运,胡尧,丁永兵.  铜仁学院学报. 2017(03)
[5]高校信息系统使用率聚类分析[J]. 谢日敏,陈杰,游贵荣.  西安文理学院学报(自然科学版). 2016(05)
[6]逐步回归法在无检测器交叉口交通流量预测中的应用[J]. 杨兆升,张赫,李娟.  吉林工业大学学报(工学版). 2002(04)

硕士论文
[1]一种改进K-Means算法的Web日志挖掘技术的研究[D]. 陈洲.江苏科技大学 2019
[2]基于多源交通数据的路况分析与研究[D]. 刘军建.中国科学院大学(中国科学院深圳先进技术研究院) 2019
[3]面向海量移动互联网用户行为的聚类算法研究与实现[D]. 卢跃凯.北京邮电大学 2019
[4]基于Hadoop的随机森林算法研究及交通流预测系统设计与实现[D]. 冒云香.江苏大学 2019
[5]基于Hadoop的离线数据分析平台设计与实现[D]. 朱雪.河北工程大学 2018
[6]主动半监督K-means聚类算法研究及应用[D]. 吕峰.河北地质大学 2018
[7]一种K-means聚类改进算法研究及应用[D]. 黄吉.湖北工业大学 2018
[8]基于Hadoop的软包印刷设备售后数据研究与分析[D]. 曹军瑶.西安理工大学 2018
[9]K-means聚类算法改进研究[D]. 郭靖.中国人民公安大学 2018
[10]基于聚类分析和决策树算法的案件分析挖掘[D]. 王健豪.江苏科技大学 2018



本文编号：3643781