基于深度强化学习的双足机器人步行运动控制
发布时间：2022-01-10 16:11
近年来,随着机器人技术的不断发展,服务机器人逐渐在人类生产生活中得到应用。在一些特殊的应用场景中,腿足式机器人比轮式机器人更灵活有效,逐渐成为机器人研究领域的热点。步态控制是双足机器人正常工作的基础,主要是指机器人依靠自身双足完成平衡控制、鲁棒行进、跌落复原等动作,涉及多自由度关节驱动、运动控制、姿态感知等问题。为实现腿足机器人运动平衡,其控制策略需要避免在运动规划时出现腿足碰撞。传统的控制方法首先对双腿建立精确的数学模型,然后,根据人类步态分析设计平衡判据,以此规划腿足末端的运动轨迹,最后,通过正逆运动学方程求出各腿部关节的角度。传统腿足式机器人控制方法存在计算量大、鲁棒性低、通用性差等问题,深度强化学习算法为解决这—问题提供了新思路。深度强化学习从实际场景出发通过智能体与环境交互能够自主探索动作空间,从环境反馈中学习运动控制策略,避免了数学模型不精确带来的问题,在训练中能够不断增强鲁棒性。本文旨在使用深度强化学习控制双足机器人的步行运动,提高双足机器人步行控制算法的通用性和鲁棒性。首先,本文在介绍国内外双足机器人平衡控制与强化学习算法的基本概念及研究进展的基础上,设计了基于视觉的机...
【文章来源】：山东大学山东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：94 页
【学位级别】：硕士
【部分图文】：
图１－１深度强化学习仿真研宄??
?山东大学硕士学位论文???移动的策略。ＨｗａｎｇｂｏｔＷ等人在机器人ＡＮＹｍａｌ上实现了控制策略的??迁移，如图ｌ－２（ａ）；?Ｔａｎ［３９］等人在Ｍｉｎｉｔｕａｉ机器人上实现平衡步态的迁??移，如图ｌ－２（ｂ）；?Ｘｉｅ＿等人以Ｃａｓｓｉｅ机器人迁移了双足平衡控制方??法，如图ｌ－２（ｃ）；?ＯｐｅｎＡＩ公司利用深度强化学习的方法训练智能机械??手从抓握手中的物体，并实现了单手复原魔方的操作［４Ｍ２］，如图??ｌ－２（ｄ）〇??（ａ）?ＡＮＹｍａｌ?机器人?（ｂ）?Ｍｉｎｉｔｕａｉ?机器人??Ｈ?Ｕ?嚇??（ｃ）?Ｃａｓｓｉｅ?机器人?（ｄ）?ＯｐｅｉｉＡｌ?机械手??图１－２深度强化学习在机器人领域的应用??（３）迁移学习的应用。在深度强化学习研究初期，Ｇｏｏｇｌｅ公司斥??巨资在实体机器人上训练并采集数据，成本十分高昂。为了解决这个??问题，通过仿真环境训练机器人，再将学习到的控制策略迁移到实体??机器人是一个很好的思路。为此ＤｅｅｐＭｉｎｄ公司提出的渐进式神经网??络［４?３?］，通过构造多组神经网络分布集成训练的方式提高了智能体的学??习能力，完成了机械臂的抓取任务，并成功迁移到实体机器人，验证??了迁移的可行性。虽然迁移具有可行性，但是迁移后的控制策略在实??体机器人环境中运行时的表现并不理想。??（４）模仿学习的应用。深度强化学习虽然一定程度上解决了机器??人的控制问题，但是通常需要在仿真环境中进行大量的训练才能实??９??
ｙ，??ＣｏＧ）的投影始终位于支撑多边形区域（ｓｕｐｐｏｒｔ?ｒｅｇｉｏｎ）内，这可以保??证其行走动作停止时保持稳定，但速度较慢，如图ｌ－３（ａ）。??．ＺＭＰ＿?ＺＭＰ?Ｓｉｎｇｌｅ?ｓｕｐｐｏｒｔ?ｐｈａｓｅ?Ｄｏｕｂｌｅ?ｓｕｐｐｏｒｔ?ｐｈａｓｅ?Ｕｎｓｔａｂｌｅ?ｐｏｓｉｔｉｏｎ??＾?Ｓｔａｂｌｅ?ｐｏｓｉｔｉｏｎ?Ｓｔａｂｌｅ?ｐｏｓｉｔｉｏｎ??ｕｎｓｔａｂｌｅ?ｐｏｓｉｕｏｎ?Ｍａｂｌｃ?ｐｏｓｉｔｉｏｎ??（ａ）静态步行策略?（ｂ）动态步行策略??图１－３双足步态模式图??１．３．２动态步行策略??１．基于模型的控制??基于模型的控制主要有线性倒立摆模型、被动步态模型和弹簧质??量模型，动态步行策略示意图见图ｌ－３（ｂ）。１＾６！１１３１１１丨［４６］等人首先提出使??用线性倒立摆模型，将双足机器人的步行运动过程映射为倒立摆的运??动过程，由此设计出双足机器人稳定行走步态。倒立摆模型使双足机??器人的运动控制问题得到简化，系统的状态变量只有机器人质心的位??置、速度和支撑点的位置，通过质心运动方式和落脚点设计生成步态，??再基于逆运动学反解，即可求得到各关节轨迹，为后续机器人在不同??环境不同要求下的行走任务奠定了基础，但在考虑行走效果时，不精??１０??
【参考文献】：
期刊论文
[1]基于AM-RPPO的双足机器人适应性行走控制算法[J]. 马璐,刘成菊,林立民,徐斌辰,陈启军. 机器人. 2019(06)
[2]深度强化学习理论及其应用综述[J]. 万里鹏,兰旭光,张翰博,郑南宁. 模式识别与人工智能. 2019(01)
[3]基于值函数和策略梯度的深度强化学习综述[J]. 刘建伟,高峰,罗雄麟. 计算机学报. 2019(06)
[4]迈进高维连续空间:深度强化学习在机器人领域中的应用[J]. 多南讯,吕强,林辉灿,卫恒. 机器人. 2019(02)
[5]深度强化学习研究综述[J]. 赵星宇,丁世飞. 计算机科学. 2018(07)
[6]深度逆向强化学习研究综述[J]. 陈希亮,曹雷,何明,李晨溪,徐志雄. 计算机工程与应用. 2018(05)
[7]仿人服务机器人发展与研究现状[J]. 颜云辉,徐靖,陆志国,宋克臣,柳博航. 机器人. 2017(04)
[8]基于知识的深度强化学习研究综述[J]. 李晨溪,曹雷,张永亮,陈希亮,周宇欢,段理文. 系统工程与电子技术. 2017(11)
[9]深度强化学习综述[J]. 刘全,翟建伟,章宗长,钟珊,周倩,章鹏,徐进. 计算机学报. 2018(01)
[10]工业机器人的研发及应用综述[J]. 孟明辉,周传德,陈礼彬,冯淼,苗纯正. 上海交通大学学报. 2016(S1)
博士论文
[1]双足机器人高效行走的自适应控制研究[D]. 宋夙冕.浙江大学 2018
硕士论文
[1]基于SoC和增强学习的平面双足行走控制研究[D]. 杨鑫.重庆邮电大学 2019
[2]双足机器人跑跳步态规划与平衡控制研究[D]. 李奕达.浙江大学 2019
[3]双足人形机器人步态规划和稳定性研究[D]. 张月.哈尔滨工业大学 2017
[4]双足步行机器人的步态规划与神经网络控制[D]. 张洪宾.华南理工大学 2016
[5]双足机器人行走步态平滑切换方法研究[D]. 曾桂容.浙江大学 2016
本文编号：3580997
【文章来源】：山东大学山东省 211工程院校 985工程院校 教育部直属院校
【文章页数】：94 页
【学位级别】：硕士
【部分图文】：
图１－１深度强化学习仿真研宄??
?山东大学硕士学位论文???移动的策略。ＨｗａｎｇｂｏｔＷ等人在机器人ＡＮＹｍａｌ上实现了控制策略的??迁移，如图ｌ－２（ａ）；?Ｔａｎ［３９］等人在Ｍｉｎｉｔｕａｉ机器人上实现平衡步态的迁??移，如图ｌ－２（ｂ）；?Ｘｉｅ＿等人以Ｃａｓｓｉｅ机器人迁移了双足平衡控制方??法，如图ｌ－２（ｃ）；?ＯｐｅｎＡＩ公司利用深度强化学习的方法训练智能机械??手从抓握手中的物体，并实现了单手复原魔方的操作［４Ｍ２］，如图??ｌ－２（ｄ）〇??（ａ）?ＡＮＹｍａｌ?机器人?（ｂ）?Ｍｉｎｉｔｕａｉ?机器人??Ｈ?Ｕ?嚇??（ｃ）?Ｃａｓｓｉｅ?机器人?（ｄ）?ＯｐｅｉｉＡｌ?机械手??图１－２深度强化学习在机器人领域的应用??（３）迁移学习的应用。在深度强化学习研究初期，Ｇｏｏｇｌｅ公司斥??巨资在实体机器人上训练并采集数据，成本十分高昂。为了解决这个??问题，通过仿真环境训练机器人，再将学习到的控制策略迁移到实体??机器人是一个很好的思路。为此ＤｅｅｐＭｉｎｄ公司提出的渐进式神经网??络［４?３?］，通过构造多组神经网络分布集成训练的方式提高了智能体的学??习能力，完成了机械臂的抓取任务，并成功迁移到实体机器人，验证??了迁移的可行性。虽然迁移具有可行性，但是迁移后的控制策略在实??体机器人环境中运行时的表现并不理想。??（４）模仿学习的应用。深度强化学习虽然一定程度上解决了机器??人的控制问题，但是通常需要在仿真环境中进行大量的训练才能实??９??
ｙ，??ＣｏＧ）的投影始终位于支撑多边形区域（ｓｕｐｐｏｒｔ?ｒｅｇｉｏｎ）内，这可以保??证其行走动作停止时保持稳定，但速度较慢，如图ｌ－３（ａ）。??．ＺＭＰ＿?ＺＭＰ?Ｓｉｎｇｌｅ?ｓｕｐｐｏｒｔ?ｐｈａｓｅ?Ｄｏｕｂｌｅ?ｓｕｐｐｏｒｔ?ｐｈａｓｅ?Ｕｎｓｔａｂｌｅ?ｐｏｓｉｔｉｏｎ??＾?Ｓｔａｂｌｅ?ｐｏｓｉｔｉｏｎ?Ｓｔａｂｌｅ?ｐｏｓｉｔｉｏｎ??ｕｎｓｔａｂｌｅ?ｐｏｓｉｕｏｎ?Ｍａｂｌｃ?ｐｏｓｉｔｉｏｎ??（ａ）静态步行策略?（ｂ）动态步行策略??图１－３双足步态模式图??１．３．２动态步行策略??１．基于模型的控制??基于模型的控制主要有线性倒立摆模型、被动步态模型和弹簧质??量模型，动态步行策略示意图见图ｌ－３（ｂ）。１＾６！１１３１１１丨［４６］等人首先提出使??用线性倒立摆模型，将双足机器人的步行运动过程映射为倒立摆的运??动过程，由此设计出双足机器人稳定行走步态。倒立摆模型使双足机??器人的运动控制问题得到简化，系统的状态变量只有机器人质心的位??置、速度和支撑点的位置，通过质心运动方式和落脚点设计生成步态，??再基于逆运动学反解，即可求得到各关节轨迹，为后续机器人在不同??环境不同要求下的行走任务奠定了基础，但在考虑行走效果时，不精??１０??
【参考文献】：
期刊论文
[1]基于AM-RPPO的双足机器人适应性行走控制算法[J]. 马璐,刘成菊,林立民,徐斌辰,陈启军. 机器人. 2019(06)
[2]深度强化学习理论及其应用综述[J]. 万里鹏,兰旭光,张翰博,郑南宁. 模式识别与人工智能. 2019(01)
[3]基于值函数和策略梯度的深度强化学习综述[J]. 刘建伟,高峰,罗雄麟. 计算机学报. 2019(06)
[4]迈进高维连续空间:深度强化学习在机器人领域中的应用[J]. 多南讯,吕强,林辉灿,卫恒. 机器人. 2019(02)
[5]深度强化学习研究综述[J]. 赵星宇,丁世飞. 计算机科学. 2018(07)
[6]深度逆向强化学习研究综述[J]. 陈希亮,曹雷,何明,李晨溪,徐志雄. 计算机工程与应用. 2018(05)
[7]仿人服务机器人发展与研究现状[J]. 颜云辉,徐靖,陆志国,宋克臣,柳博航. 机器人. 2017(04)
[8]基于知识的深度强化学习研究综述[J]. 李晨溪,曹雷,张永亮,陈希亮,周宇欢,段理文. 系统工程与电子技术. 2017(11)
[9]深度强化学习综述[J]. 刘全,翟建伟,章宗长,钟珊,周倩,章鹏,徐进. 计算机学报. 2018(01)
[10]工业机器人的研发及应用综述[J]. 孟明辉,周传德,陈礼彬,冯淼,苗纯正. 上海交通大学学报. 2016(S1)
博士论文
[1]双足机器人高效行走的自适应控制研究[D]. 宋夙冕.浙江大学 2018
硕士论文
[1]基于SoC和增强学习的平面双足行走控制研究[D]. 杨鑫.重庆邮电大学 2019
[2]双足机器人跑跳步态规划与平衡控制研究[D]. 李奕达.浙江大学 2019
[3]双足人形机器人步态规划和稳定性研究[D]. 张月.哈尔滨工业大学 2017
[4]双足步行机器人的步态规划与神经网络控制[D]. 张洪宾.华南理工大学 2016
[5]双足机器人行走步态平滑切换方法研究[D]. 曾桂容.浙江大学 2016
本文编号：3580997
本文链接：https://www.wllwen.com/shoufeilunwen/xixikjs/3580997.html