基于图模型的大规模网络异常检测

发布时间：2024-03-15 05:46

　　随着网络主机和应用数目的增长,如何在大规模网络中识别异常流量越来越具有挑战性。目前,国内外已有许多成熟的基于主机的异常流量分析方法,重点以分析网络中的特定节点为主。此类方法无法应对大规模网络网络管理和安全监控的需求,因此,迫切需要一种有效的网络群体划分方法来应对大规模网络的挑战。本文提出了一种基于图模型的大规模网络异常检测方法,为大规模网络异常检测问题的解决提供了新的思路。首先,依据NetFlow数据中的IP字段构造二分图模型。其次,基于公共节点个数与主机相似性之间的联系构建单模投影图。然后,利用Spark GraphX实现Louvain社区检测算法来对构造出的图模型进行社区检测,寻找具有相似性的主机群体。最后,基于相对不确定模型、TCP标志位、深度数据包来对社区内部的流量模式进行分析。本文实现了基于图模型的大规模网络异常检测系统,从数据采集、存储和计算等三个方面进行设计保证系统的可扩展性。首先,借助Flume分布式日志采集组件完成数据的实时采集和转发。其次,利用HDFS和HBase存储历史数据以及计算结果。最后,采用Spark集群完成对海量NetFlow历史数据的分析。本文提出的基于...

【文章页数】：49 页

【学位级别】：硕士

【文章目录】：
摘要
abstract
第一章 绪论
    1.1 研究背景和意义
    1.2 国内外研究现状
    1.3 研究工作及创新点
    1.4 论文结构安排
第二章 相关技术及理论
    2.1 NetFlow
    2.2 Flume
    2.3 Spark
        2.3.1 RDD
        2.3.2 SparkMLlib
        2.3.3 SparkGraphX
        2.3.4 SparkStreaming
        2.3.5 SparkSQL
    2.4 HBase
    2.5 本章小结
第三章 基于图模型的大规模网络异常检测方法
    3.1 方法框架
    3.2 二分图模型
    3.3 单模投影模型
    3.4 Louvain社区检测模型
    3.5 异常检测
        3.5.1 相对不确定性模型
        3.5.2 异常流量分析
    3.6 本章小结
第四章 基于图模型的大规模网络异常检测系统
    4.1 系统架构
    4.2 数据采集层
    4.3 数据持久化层
    4.4 数据计算层
        4.4.1 字段提取
        4.4.2 构造二分图
        4.4.3 构造单模投影
        4.4.4 社区检测并行化
    4.5 数据展示层
    4.6 本章小结
第五章 实验结果与分析
    5.1 社区检测
    5.2 异常检测
        5.2.1 相对不确定性分析
        5.2.2 标志位分析
        5.2.3 深度包检测结果分析
    5.3 本章小结
第六章 总结与展望
    6.1 工作总结
    6.2 问题与展望
参考文献
发表论文和科研情况说明
致谢



本文编号：3928629