滑动窗口模型下的数据流自适应异常检测方法研究

发布时间：2017-04-23 03:08

  本文关键词：滑动窗口模型下的数据流自适应异常检测方法研究，由笔耕文化传播整理发布。

【摘要】：随着航天技术的不断发展，卫星运行的发展趋势为：长期自主稳定运行为主，地面遥控介入为辅。卫星在轨遥测数据是地面工作人员判断卫星健康状态的唯一依据，研究卫星在轨运行时最近一段时间内遥测数据的异常变化具有重要意义。然而，卫星遥测数据具有大量、快速、实时的特性，以数据流的形式传输至地面，传统的数据分析及处理方法无法得到有效应用。而滑动窗口数据流模型的研究对象为距离当前时刻最近窗口内的数据流，是数据流领域的研究热点，其符合卫星遥测数据流异常检测的应用需求。因此本文从卫星遥测数据流异常检测背景出发，对滑动窗口模型下的数据流异常检测方法开展研究。 首先，面向卫星在轨遥测数据流在线持续到达的大量性与计算机内存资源有限的矛盾，开展卫星遥测数据流概要生成算法研究，针对当前抽样算法不能综合反映最近窗口内数据信息的问题，提出了基于基本窗口的均匀链式抽样算法（Uniform Basic-windows Chain Sampling，UBCS），实现了以基本小窗口为单位的抽样样本的均匀分布并通过实验验证。其次，针对按时间顺序到达的单数据流中单点异常、连续异常及聚集异常检测问题，提出了基于高斯过程回归（Gaussian Process Regression，GPR）的单数据流异常检测方法，实现了正常数据置信区间的直接输出，相对于朴素贝叶斯（Na ve）与多层感知网络（Multilayer perception，MLP），实验验证了其对于单点异常检测的有效性；再次，针对GPR方法对连续异常检测性能不佳的问题，融合UBCS与GPR提出了UBCS_GPR方法，其有效降低了异常数据在预测窗口中占有的比重，提高了单数据流连续异常检测率；此外，对于聚集异常检测问题，构建基于UBCS_GPR算法的离线模型和在线模型，离线模型确定抽样比及初始在线模型实现正常模式数据的有效建模，在线模型利用其作为输入并实时更新，以跟踪数据流的变化，公开数据集Power与Space验证了其对于聚集异常检测的适用性。最后，，针对多数据流异常检测问题，将高维相似性度量函数引入分层聚类方法，提出了HSWStream（High Sliding Windows）算法，实现了面向滑动窗口的多数据流有效聚类，应用于KDD99数据集的不同索引处取得了较好的异常检测效果。 本文开展的单数据流与多数据流异常检测技术研究，涵盖了数据流异常检测的两个不同应用层面，通过仿真数据集及真实的公开数据集进行了算法验证，为后期卫星遥测数据流的异常检测应用奠定基础。
【关键词】：数据流 异常检测 滑动窗口 概要结构 单数据流 多数据流
【学位授予单位】：哈尔滨工业大学
【学位级别】：硕士
【学位授予年份】：2013
【分类号】：TP311.13;V556
【目录】：

• 摘要4-5
• Abstract5-9
• 第1章 绪论9-24
• 1.1 课题背景及研究的目的和意义9-10
• 1.2 国内外研究现状及分析10-22
• 1.2.1 数据流概述10-13
• 1.2.2 数据流的国内外研究现状13-15
• 1.2.3 数据流概要生成方法研究现状15-16
• 1.2.4 数据流异常检测研究现状16-22
• 1.3 本文的研究内容及结构22-24
• 第2章 滑动窗口模型下的数据流概要生成算法研究24-41
• 2.1 滑动窗口模型下的数据流概要生成方法24-26
• 2.2 滑动窗口模型下的数据流抽样算法26-30
• 2.2.1 CS 算法27-28
• 2.2.2 SBWRS 算法28-29
• 2.2.3 OS 算法29-30
• 2.3 滑动窗口模型下的 UBCS 算法30-39
• 2.3.1 算法提出30-31
• 2.3.2 算法原理31-33
• 2.3.3 实验验证及评估33-38
• 2.3.4 算法特性分析38-39
• 2.4 本章小结39-41
• 第3章 基于预测模型的滑动窗口单数据流异常检测41-76
• 3.1 单数据流异常检测方法41-44
• 3.1.1 单数据流异常分类41-42
• 3.1.2 单数据流异常检测方法42-44
• 3.2 基于预测模型的单数据流异常检测44-47
• 3.2.1 异常检测框架44-45
• 3.2.2 常用预测方法45-47
• 3.3 基于 GPR 方法的单数据流异常检测47-61
• 3.3.1 GP 模型47-48
• 3.3.2 GPR 方法48-52
• 3.3.3 基于 GPR 的异常检测框架52-53
• 3.3.4 实验验证及评估53-61
• 3.4 基于 UBCS_GPR 方法的单数据流异常检测61-75
• 3.4.1 UBCS_GPR 方法61-67
• 3.4.2 实验验证及评估67-75
• 3.5 本章小结75-76
• 第4章 分层聚类的滑动窗口多数据流异常检测76-94
• 4.1 多数据流异常检测方法76-77
• 4.2 基于聚类方法的数据流异常检测77-81
• 4.2.1 数据流聚类方法77-78
• 4.2.2 面向滑动窗口的分层聚类算法78-81
• 4.3 HSWSTREAM 算法81-92
• 4.3.1 相似性度量函数82-84
• 4.3.2 在线微聚类84-87
• 4.3.3 离线宏聚类87-88
• 4.3.4 实验验证及评估88-92
• 4.4 本章小结92-94
• 结论94-96
• 参考文献96-104
• 攻读硕士学位期间发表的论文及其它成果104-107
• 致谢107

【相似文献】

中国期刊全文数据库 前10条

1 张龙波;李战怀;朱立平;刘江涛;赵以强;;数据流滑动窗口连接查询降载策略研究[J];西北工业大学学报;2006年05期

2 张宁;;基于滑动窗口的时间序列离群数据挖掘[J];燕山大学学报;2008年06期

3 吴亚娟;马瑞民;王小龙;赵建民;;一种基于变窗口的数据流连续查询方法[J];佳木斯大学学报(自然科学版);2009年05期

4 章玲;用VC~(++)多线程技术实现PC机全双工串行通讯[J];南京师范大学学报(工程技术版);2002年01期

5 任政;郝振纯;;滑动窗口二次自回归模型在径流预报中的应用[J];河海大学学报(自然科学版);2009年03期

6 李旭;苏少明;刘桓;吕文祥;;一种在OFDM系统中提高同步估计性能的方法[J];北京交通大学学报;2009年05期

7 王虎;王解先;白贵霞;李浩军;;改进的渐消卡尔曼滤波在GPS动态定位中的应用[J];同济大学学报(自然科学版);2011年01期

8 庞征斌;徐金波;董亚卓;窦勇;张峻;;面向大尺寸滑动窗口应用的并行计算模型[J];国防科技大学学报;2011年02期

9 王成江;冉兵;戴迪;吴磊;;基于滑动窗口的动态手写签名局部相关性研究[J];三峡大学学报(自然科学版);2006年02期

10 张自驰;宋政湘;耿英三;戴鹏程;;塑壳式断路器新型智能化脱扣器的设计与实现[J];低压电器;2006年11期

中国重要会议论文全文数据库 前10条

1 周锐;肖川;王国仁;韩东红;霍欢;;数据流滑动窗口连接上的卸载技术的研究[A];第二十三届中国数据库学术会议论文集（技术报告篇）[C];2006年

2 闫朝升;李建中;李金宝;;数据流上滑动窗口技术的研究与实现[A];第二十一届中国数据库学术会议论文集（技术报告篇）[C];2004年

3 张龙波;李战怀;余敏;王勇;蒋芸;;面向数据流滑动窗口的随机抽样算法研究[A];第二十二届中国数据库学术会议论文集（研究报告篇）[C];2005年

4 张冬冬;李建中;王伟平;郭龙江;;分布式复式数据流的处理[A];第二十一届中国数据库学术会议论文集（研究报告篇）[C];2004年

5 汪罕;赵加奎;陈立军;;流和滑动窗口模型下的直径计算(英文)[A];第26届中国数据库学术会议论文集（B辑）[C];2009年

6 杨宜东;孙志挥;周晓云;;滑动窗口中的变化检测[A];第二十二届中国数据库学术会议论文集（技术报告篇）[C];2005年

7 苏东;宋宝燕;杨兴华;欧征宇;于亚新;于戈;;基于滑动窗口语义的聚集计算方法[A];第二十一届中国数据库学术会议论文集（研究报告篇）[C];2004年

8 魏永超;陈立军;;数据流上复杂事件处理系统Eagle的设计与实现[A];第二十五届中国数据库学术会议论文集（一）[C];2008年

9 沙瀛;谭建龙;;一种采用拟合曲线计算滑动窗口下数据流的最大值/最小值的方法[A];第二十四届中国数据库学术会议论文集（技术报告篇）[C];2007年

10 杨兴华;于亚新;于戈;欧征宇;武珊珊;;一种数据流滑动窗口上的索引连接策略[A];第二十二届中国数据库学术会议论文集（研究报告篇）[C];2005年

中国重要报纸全文数据库 前10条

1 李晓东;TCP整型，QoS的阳光大道？[N];计算机世界;2004年

2 计算机世界实验室 吴挺;Intel的专业“核动力”[N];计算机世界;2007年

3 中国传媒大学计算机学院 朱立谷;重复数据删除技术解析[N];中国计算机报;2007年

4 北京 冬梅;P4时代真的来了吗[N];中国电脑教育报;2001年

5 ;立体防护“中枢神经系统”[N];网络世界;2003年

6 ;NetScreen-IDP 500 高端入侵检测与防护设备[N];计算机世界;2003年

7 甘久斌;如何有效管理宽带用户[N];通信产业报;2002年

8 李勇;降低投资70%[N];中国计算机报;2003年

9 ;在移动互联网里推广IPv6[N];人民邮电;2002年

10 ;港湾网络多业务万兆城域网解决方案[N];人民邮电;2003年

中国博士学位论文全文数据库 前10条

1 王修君;高效数据流和海量文本处理算法研究[D];中国科学技术大学;2011年

2 吴枫;数据流挖掘若干关键技术研究[D];国防科学技术大学;2009年

3 邹先霞;事务数据流处理的若干关键技术问题研究[D];中南大学;2012年

4 胡文生;XML数据流上基于窗口的查询处理方法研究[D];武汉大学;2012年

5 朱小栋;基于扩展预测模型标记语言的数据流挖掘系统建模研究[D];南京航空航天大学;2009年

6 张天成;实时数据流相关性分析与挖掘技术研究[D];东北大学;2008年

7 郭立超;数据流挖掘若干技术研究及其在电信行业的应用[D];浙江大学;2011年

8 于翔;基于网格的数据流聚类方法研究[D];哈尔滨工程大学;2010年

9 冯博;基于半结构化数据的数据流挖掘算法研究[D];北京邮电大学;2011年

10 李军;基于用户行为挖掘的数据流管理技术研究[D];北京邮电大学;2012年

中国硕士学位论文全文数据库 前10条

1 庞景月;滑动窗口模型下的数据流自适应异常检测方法研究[D];哈尔滨工业大学;2013年

2 王浩;基于滑动窗口和子空间划分的数据流聚类算法研究[D];燕山大学;2010年

3 孙英家;数据流中基于滑动窗口的效用频繁模式挖掘算法[D];合肥工业大学;2012年

4 汪仁红;基于聚类分析的数据流处理算法[D];重庆交通大学;2013年

5 吴亚娟;数据流连续查询的自适应降裁策略研究[D];大庆石油学院;2010年

6 龚云;基于滑动窗口的密度聚类算法研究[D];安徽大学;2011年

7 王立波;基于滑动窗口的数据流频繁模式挖掘算法研究[D];燕山大学;2010年

8 姚晨;高纬数据流的异常检测[D];电子科技大学;2011年

9 杨溢之;基于数据流的关联规则挖掘方法的研究[D];西安科技大学;2011年

10 周云霞;基于数据流的油水井工况趋势分析方法研究[D];东北石油大学;2013年

  本文关键词：滑动窗口模型下的数据流自适应异常检测方法研究，由笔耕文化传播整理发布。

本文编号：321737