自动化机器学习中的超参调优方法

发布时间：2024-03-24 23:38

　　本文介绍近年逐渐兴起的自动化机器学习框架,着重讨论其中颇具挑战的超参调优问题.常用的调参方法有格子点法、随机搜索等批量抽样策略,还包括Bayes优化、群体搜索算法和强化学习等序贯策略.由方开泰和王元早在1990年提出的贯序数论优化算法,利用序贯均匀设计对复杂响应曲面寻求全局最优值,同样适用于超参调优.本文以支持向量机和极限梯度推进机这两种常用的机器学习模型为例,结合两组典型的二分类数据集,对多种超参调优方法进行测试.通过比较分析发现一种改进的贯序数论优化算法,对解决自动化机器学习中的调参问题,颇具潜力.

【文章页数】：16 页

【部分图文】：

图1(网络版彩图)自动化机器学习框架

自动化机器学习(automatedmachinelearning,AutoML),旨在实现机器学习实践中涉及的一系列步骤的自动化,包括数据预处理、特征工程、模型选择和超参优化等.图1勾勒了目前常用的一种AutoML框架,其中超参优化是最重要的一个环节.自动化超参调优相较于手工....

图2(网络版彩图)4种方法的比较:在2维空间生成25个试验点.(a)格子点法;(b)随机搜索;(c)超拉丁方抽样;(d)Sobol序列

格子点法预先将每一维超参划分成多个格点,然后对所有维度的格点组合进行穷举搜索.这种方法由于其简单、易操作的特性,在实践中被广泛使用.假设超参维度为s,每个超参可以选取的格点数相同且均为g,穷举搜索的总次数即为gs.因为格子点数量会随着超参维度的增加呈几何级数增加所以对于高维超参优....

图3(网络版彩图)Bayes优化示例

由Hutter等[6]提出的SMAC方法是另一种经典的Bayes优化方法.与GP-EI方法类似,SMAC方法将期望提升作为采集函数,并使用随机森林作为代理模型来拟合潜在的响应曲面.随机森林模型最早由Breiman[8]提出,本质上是一组并行化的决策树集成模型,具有较强的非线性拟合....

图4(网络版彩图)SNTO与SNTO-New示意图.(a)均匀设计U20(202);(b)SNTO;(c)SNTO-New

然后,判断新的边界是否超出原始[0,1]s区间.如果超出,则将缩放空间后的子空间向内平移,直到子空间完全处于边界之内.(2)在每次生成新的子空间均匀设计时,对每个试验点的所有因子各自添加一个随机扰动:

本文编号：3938194