迁移深度学习地基云图自动识别的网络微调学习过程

发布时间：2021-03-07 02:41

　　研究了一种将迁移学习引入到地基云图自动识别深度学习网络中的学习过程,其中深度学习网络采用AlexNet经典网络模型,数据集采用ImageNet样本库进行预训练,学习过程中采用微调操作对网络的权值进行最佳调整。通过对10类地基云图的仿真实验,可以看出,由于云图类别较多,分类任务较难,将迁移学习和微调方法引入到深度学习地基云图自动识别中,是可行和有效的。该方法的有效实施,为深度学习在高精度的地基云图分类以及其他领域图像识别奠定了技术基础。 

【文章来源】：电子器件. 2020,43(06)北大核心

【文章页数】：5 页

【部分图文】：

AlexNet网络

检验网络预训练模型样例

如果训练精度较高,则考虑测试精度。如果测试精度也很高,则可以接受超参数的选择,或者可以对超参数进行更多的调整,以确定达到更高更满意的精度。当训练精度较高而测试精度较低时,则模型很可能存在过拟合。处理过拟合采用增加样本数、增加模型中的正则化量和减少模型中的参数个数。增加正则化的数量包括增加L2正则化对权重的影响、增加随机失活或添加批标准化;减少参数的数量则可以通过减少神经元层的数量或减少层的数量来实现。一般情况下,当增加正则化不能提高验证精度时,可以减少模型参数,以避免降低模型的表达能力。但如果模型对训练数据执行得近乎完美,而对验证数据执行得很差,那么在样本充足的前提下,减少参数的数量可以对超参数有效调整。实验中批处理大小设置为32,训练在180个epoch处停止。使用Adam优化器[9],微调层的学习率为0.000 1,学习率[10]衰减为0.99,冻结层的学习率为0。训练通过权重衰减来正则化(L2正则化系数设置为0.001),前两个全连接层则通过随机失活进行正则化(随机失活比例默认设置为0.5)。

【参考文献】：
期刊论文
[1]基于迁移学习的水产动物图像识别方法[J]. 王柯力,袁红春.  计算机应用. 2018(05)
[2]迁移学习研究综述[J]. 王惠.  电脑知识与技术. 2017(32)



本文编号：3068258