基于长短期记忆模型的入侵检测系统的设计与实现
【文章页数】:78 页
【学位级别】:硕士
【部分图文】:
图2.2标准循环神经网络
f′(y)f′(x)f′(w)(2.1)2.2.2循环神经网络在传统的神经网络理论中,所有的输入(和输出)彼此之间是互相独立的。但是这并不符合很多现实任务。例如你想预测句子中的下一个词,它很可能与它之前的词和它之后的词有一定的相关性,因此需要知道它的前后文信息。循环神经网络之所以....
图2.3标准循环神经网络的梯度消失问题同时如果雅克比矩阵中的值很大,则多次矩阵相乘后梯度值容易成指数级上升
导手校?曜嫉难??神经网络一般难以学习到长时的信息,它们仅能利用有限步长得信息。是因为式2.6也可简写为式2.7,其中hKhk满足链式法则,hKhk=hKhK1...h2h1。其求导数结果是一个雅克比矩阵,矩阵元素是每个点的导数。可以把式2.7的梯度重写成式2.8。因为式中雅克比....
图2.4LSTM的一个“细胞”块结构
中,输入门将“细胞”的输入和输出通过向量的乘法计算得到;输出门也是将“细胞”的输入和输出通过向量的乘法计算得到;而遗忘门与“细胞”的从前状态通过向量的乘法计算得到。“细胞”更新计算的时候不需要激活函数。图中,门激活函数f通常为逻辑sigmoid,因此门激活函数的结果在0-1之间,....
图4.6不同的LSTM层隐藏神经元的个数对IDM分类结果的影响
。本文设置了4个超参数来讨论这4个参数对模型的影响。这4个超参数为:LSTM中隐藏神经元的个数(units)、时间步长的大小(timestepsize)、周期大小(epochsize)和优化方法。本实验中使用的LSTM为Keras中的LSTM,其中我们设置LSTM的激活函数(ac....
本文编号:3915748
本文链接:https://www.wllwen.com/kejilunwen/ruanjiangongchenglunwen/3915748.html