考虑多样性的深度神经网络结构搜索方法研究

发布时间：2022-01-20 17:37

　　为提升网络结构的寻优能力,提出一种改进的深度神经网络结构搜索方法。针对网络结构间距难以度量的问题,结合神经网络的结构搜索方案,设计基于图的深度神经网络结构间距度量方式。对少量步数训练和充分训练2种情况下的网络结构性能进行分析,基于多样性解的优势,给出一种多样性最优网络结构搜索方法。实验结果表明,该方法能够有效提高解的质量,有助于寻找到更优的网络结构。 

【文章来源】：计算机工程. 2020,46(12)北大核心CSCD

【文章页数】：9 页

【部分图文】：

数据流特征邻域示意图

其中,γin、γout和γf是常数因子,控制数据流特征和操作特征在距离度量中的重要程度,A0是属性特征中非数值类型特征的索引集合,f v 1 A 0 ˉ 、f v 2 A 0 ˉ 表示属性特征中去掉非数值特征值后的向量。将非数值特征和数值特征分开,符合人们的直观认识,如图2所示。当类型特征和数值特征同时改变时,可以认为这样的变动产生的距离大于只改变数值或只改变类型产生的距离。按照上述的距离定义方式,3×3的空洞卷积变成5×5的普通卷积时的距离,会大于3×3的普通卷积变成5×5的普通卷积时的距离或3×3的空洞卷积变成3×3的普通卷积时的距离。上述距离度量方法同时考虑了网络连接方式和操作本身特性。2.4 结构距离度量

训练步数对实验结果的影响

【参考文献】：
期刊论文
[1]基于类别先验与深度神经网络特征的显著性检测[J]. 邓凝旖,沈志强,郭跃飞.  计算机工程. 2017(06)



本文编号：3599245