基于强化学习的双足周期步行控制研究
发布时间：2022-07-27 13:31
双足机器人形态拟人,可在非结构化的复杂环境中行走,且无需为其改造人类工作和生活的环境,得到了研究者的广泛重视。周期步行是双足运动的基本形态,反映了生物的节律运动。目前提高双足机器人周期步行对环境适应能力的步行控制算法,多基于机器人数学模型;将地面视为刚性地面而忽略地面材质对步行的影响;缺乏动态学习能力,这些不足限制了双足机器人的实际应用与发展。强化学习可描述智能体通过与环境不断交互而进行学习的过程,可实现无模型的控制器设计,适用于不同的工作环境,体现了生物动态学习的特点。本文针对双足机器人周期步行问题,提出了基于强化学习的步行控制方法,可实现仿人、稳定和具有适应性的双足周期步态。主要研究内容为:首先,提出提高被动步行环境适应性的平面周期步行控制器。在刚性地面假设下,建立双足步行的混杂动力学方程,作为模拟机器人行走的训练环境;基于胞映射法进行被动步行初始值求解,得到了被动步行的周期步态,并进行了步态的稳定性分析;基于深度Q网络设计平面周期步行控制器。研究结果表明:在强化学习试错的过程中,将稳定的被动步行步态作为训练的参考轨迹,既保持被动步行步态自然的优点,又可有效降低训练次数,训练仅需5...
【文章页数】：131 页
【学位级别】：博士
【文章目录】：
论文创新点
摘要
ABSTRACT
1 绪论
1.1 研究背景与意义
1.2 国内外研究综述
1.3 本文研究内容
2 双足周期步行的预备知识
2.1 双足步行的基本概念
2.2 被动节律运动
2.3 主动节律运动
2.4 强化学习
2.5 本章小结
3 刚性地面假设下的平面周期步行控制
3.1 引言
3.2 步行控制器总体框架
3.3 刚性地面假设下的双足机器人行走环境
3.4 被动步行求解及特性分析
3.5 基于强化学习的步行控制器实现
3.6 本章小结
4 柔性地面假设下的平面周期步行控制
4.1 引言
4.2 步行控制器总体框架
4.3 柔性地面假设下的双足机器人行走环境
4.4 地面接触参数对被动步行影响分析
4.5 基于强化学习的步行控制器实现
4.6 本章小结
5 多关节双足机器人的三维周期步行控制
5.1 引言
5.2 步行控制器总体框架
5.3 基于CPG的步态规划
5.4 基于强化学习的步行控制
5.5 物理样机试验
5.6 本章小结
6 总结与展望
6.1 全文总结
6.2 研究展望
附录A 刚性地面假设下的双足机器人动力学
附录B 柔性地面假设下的机器人-地面耦合动力学
附录C 对比控制器：能量成型控制器
参考文献
攻读博士期间发表的科研成果
致谢
【参考文献】：
期刊论文
[1]仿人服务机器人发展与研究现状[J]. 颜云辉,徐靖,陆志国,宋克臣,柳博航. 机器人. 2017(04)
[2]BHR-3型仿人机器人设计[J]. 叶军,段星光,陈学超. 机器人技术与应用. 2011(02)
[3]强化学习研究综述[J]. 陈学松,杨宜民. 计算机应用研究. 2010(08)
[4]小型仿人机器人THBIP-Ⅱ的研制与开发[J]. 伊强,陈恳,刘莉,付成龙. 机器人. 2009(06)
[5]Passive walker that can walk down steps:simulations and experiments[J]. Ning Liu Junfeng Li Tianshu Wang School of Aerospace,Tsinghua University,Beijing 100084,China. Acta Mechanica Sinica. 2008(05)
[6]动态步行双足机器人THR-I的设计与实现[J]. 付成龙,陈恳,王健美,黄元林. 机器人. 2008(02)
[7]两足机器人步态的参数化设计及优化[J]. 窦瑞军,马培荪,谢玲. 机械工程学报. 2002(04)
[8]无侧摆关节型两足步行机器人转弯步态规划方法的研究[J]. 谭冠政，朱剑英. 中南矿冶学院学报. 1994(01)
博士论文
[1]液压驱动双足机器人及其动态平衡运动控制研究[D]. 刘国才.哈尔滨工业大学 2017
[2]柔性地面上欠驱动双足步行稳定性控制[D]. 王杨.武汉大学 2016
[3]基于欠驱动性的双足机器人高能效行走控制研究[D]. 王紫东.浙江大学 2016
[4]欠驱动双足机器人动态步行规划与抗扰动控制[D]. 李超.浙江大学 2015
[5]仿人机器人乒乓球击打运动规划与稳定控制[D]. 李敬.北京理工大学 2015
[6]兼顾稳定与灵活的欠驱动双足机器人奔跑运动控制研究[D]. 易阳.浙江大学 2015
[7]仿人机器人的步态规划和步行控制研究[D]. 付根平.广东工业大学 2013
[8]双足被动步行机器人性能分析及一种动力输入方法研究[D]. 倪修华.哈尔滨工业大学 2010
[9]欠驱动双足机器人行走步态建模与动态行走控制策略研究[D]. 张佩杰.吉林大学 2010
[10]半被动双足机器人的设计与再励学习控制[D]. 毛勇.清华大学 2007
硕士论文
[1]双足机器人快速在线步态切换及其实验[D]. 张志宏.浙江大学 2017
[2]胞映射方法在电力电子非线性系统混沌检测中的应用[D]. 李斌华.广州大学 2016
[3]高速步行机器人机构及测控系统设计[D]. 戴玉东.东南大学 2016
[4]窄足3D半被动行走器步态稳定性与研究[D]. 李永.重庆邮电大学 2016
[5]强化学习在仿人机器人行走稳定控制上的研究及实现[D]. 陈奇石.华南理工大学 2016
[6]基于中枢模式发生器的仿人机器人运动规划研究[D]. 张雪.哈尔滨工业大学 2016
[7]基于关节耦合与分层反射的双足机器人CPG控制方法研究[D]. 吴静远.哈尔滨工业大学 2015
[8]数据驱动的NAO机器人关节运动控制[D]. 孙漫漫.武汉理工大学 2014
[9]有膝双足被动步行机器人的运动特性和稳定性研究[D]. 崔伟.哈尔滨工业大学 2013
[10]六足机器人控制系统研究与设计[D]. 刘鹏飞.哈尔滨理工大学 2012
本文编号：3665543
【文章页数】：131 页
【学位级别】：博士
【文章目录】：
论文创新点
摘要
ABSTRACT
1 绪论
1.1 研究背景与意义
1.2 国内外研究综述
1.3 本文研究内容
2 双足周期步行的预备知识
2.1 双足步行的基本概念
2.2 被动节律运动
2.3 主动节律运动
2.4 强化学习
2.5 本章小结
3 刚性地面假设下的平面周期步行控制
3.1 引言
3.2 步行控制器总体框架
3.3 刚性地面假设下的双足机器人行走环境
3.4 被动步行求解及特性分析
3.5 基于强化学习的步行控制器实现
3.6 本章小结
4 柔性地面假设下的平面周期步行控制
4.1 引言
4.2 步行控制器总体框架
4.3 柔性地面假设下的双足机器人行走环境
4.4 地面接触参数对被动步行影响分析
4.5 基于强化学习的步行控制器实现
4.6 本章小结
5 多关节双足机器人的三维周期步行控制
5.1 引言
5.2 步行控制器总体框架
5.3 基于CPG的步态规划
5.4 基于强化学习的步行控制
5.5 物理样机试验
5.6 本章小结
6 总结与展望
6.1 全文总结
6.2 研究展望
附录A 刚性地面假设下的双足机器人动力学
附录B 柔性地面假设下的机器人-地面耦合动力学
附录C 对比控制器：能量成型控制器
参考文献
攻读博士期间发表的科研成果
致谢
【参考文献】：
期刊论文
[1]仿人服务机器人发展与研究现状[J]. 颜云辉,徐靖,陆志国,宋克臣,柳博航. 机器人. 2017(04)
[2]BHR-3型仿人机器人设计[J]. 叶军,段星光,陈学超. 机器人技术与应用. 2011(02)
[3]强化学习研究综述[J]. 陈学松,杨宜民. 计算机应用研究. 2010(08)
[4]小型仿人机器人THBIP-Ⅱ的研制与开发[J]. 伊强,陈恳,刘莉,付成龙. 机器人. 2009(06)
[5]Passive walker that can walk down steps:simulations and experiments[J]. Ning Liu Junfeng Li Tianshu Wang School of Aerospace,Tsinghua University,Beijing 100084,China. Acta Mechanica Sinica. 2008(05)
[6]动态步行双足机器人THR-I的设计与实现[J]. 付成龙,陈恳,王健美,黄元林. 机器人. 2008(02)
[7]两足机器人步态的参数化设计及优化[J]. 窦瑞军,马培荪,谢玲. 机械工程学报. 2002(04)
[8]无侧摆关节型两足步行机器人转弯步态规划方法的研究[J]. 谭冠政，朱剑英. 中南矿冶学院学报. 1994(01)
博士论文
[1]液压驱动双足机器人及其动态平衡运动控制研究[D]. 刘国才.哈尔滨工业大学 2017
[2]柔性地面上欠驱动双足步行稳定性控制[D]. 王杨.武汉大学 2016
[3]基于欠驱动性的双足机器人高能效行走控制研究[D]. 王紫东.浙江大学 2016
[4]欠驱动双足机器人动态步行规划与抗扰动控制[D]. 李超.浙江大学 2015
[5]仿人机器人乒乓球击打运动规划与稳定控制[D]. 李敬.北京理工大学 2015
[6]兼顾稳定与灵活的欠驱动双足机器人奔跑运动控制研究[D]. 易阳.浙江大学 2015
[7]仿人机器人的步态规划和步行控制研究[D]. 付根平.广东工业大学 2013
[8]双足被动步行机器人性能分析及一种动力输入方法研究[D]. 倪修华.哈尔滨工业大学 2010
[9]欠驱动双足机器人行走步态建模与动态行走控制策略研究[D]. 张佩杰.吉林大学 2010
[10]半被动双足机器人的设计与再励学习控制[D]. 毛勇.清华大学 2007
硕士论文
[1]双足机器人快速在线步态切换及其实验[D]. 张志宏.浙江大学 2017
[2]胞映射方法在电力电子非线性系统混沌检测中的应用[D]. 李斌华.广州大学 2016
[3]高速步行机器人机构及测控系统设计[D]. 戴玉东.东南大学 2016
[4]窄足3D半被动行走器步态稳定性与研究[D]. 李永.重庆邮电大学 2016
[5]强化学习在仿人机器人行走稳定控制上的研究及实现[D]. 陈奇石.华南理工大学 2016
[6]基于中枢模式发生器的仿人机器人运动规划研究[D]. 张雪.哈尔滨工业大学 2016
[7]基于关节耦合与分层反射的双足机器人CPG控制方法研究[D]. 吴静远.哈尔滨工业大学 2015
[8]数据驱动的NAO机器人关节运动控制[D]. 孙漫漫.武汉理工大学 2014
[9]有膝双足被动步行机器人的运动特性和稳定性研究[D]. 崔伟.哈尔滨工业大学 2013
[10]六足机器人控制系统研究与设计[D]. 刘鹏飞.哈尔滨理工大学 2012
本文编号：3665543
本文链接：https://www.wllwen.com/shoufeilunwen/xxkjbs/3665543.html