基于自适应动态规划的多智能体系统一致性方法

发布时间：2023-08-03 20:45

　　多智能体系统一致性控制通过智能体间的交互使所有的智能体的状态或输出达到一致,是多智能体系统中最重要的问题之一。根据系统中领航者的数量,多智能体系统一致性控制可以分为无领航者的一致性控制、一个领航者的领导—跟随一致性控制以及多个领航者的包含控制。传统的一致性控制方法仅要求系统的稳定性,没有考虑系统的最优性,并且需要知道系统的模型信息。在实际环境中,系统的模型大多数是未知的或者难以建立精确的机理模型,限制了传统一致性控制方法的应用。自适应动态规划方法(Adaptive dynamic programming,ADP)是一种具有自学习能力和优化能力的智能控制方法,能够有效地解决系统模型未知情况下的优化控制问题,在求解模型无关的多智能体系统最优一致性控制问题中具有极大的潜力。本文结合ADP方法对模型未知情况下多智能体系统最优包含控制、领导—跟随最优一致性控制以及异构多智能体系统最优输出一致性控制展开研究。此外,还研究了影响ADP方法性能的关键因素—评价网络的设计方法,以促进ADP方法在模型未知情况下多智能体系统一致性控制中的应用。本文的主要研究工作和取得的成果如下:(1)模型无关线性多智能体系...

【文章页数】：131 页

【学位级别】：博士

【文章目录】：
作者简历
摘要
abstract
第一章 绪论
    1.1 研究背景及意义
    1.2 国内外研究现状
        1.2.1 自适应动态规划理论
        1.2.2 基于ADP的多智能体系统一致性控制
        1.2.3 自适应评价网络设计方法
    1.3 现有研究存在的问题
    1.4 论文研究内容与结构安排
第二章 模型无关线性多智能体系统包含控制方法
    2.1 引言
    2.2 包含误差动态系统
        2.2.1 代数图论
        2.2.2 包含误差动态系统问题描述
    2.3 多智能体系统最优包含控制
        2.3.1 包含控制性能指标
        2.3.2 纳什均衡和稳定性分析
    2.4 基于值迭代的数据驱动ADHDP算法
        2.4.1 基于局部Q函数的值迭代算法
        2.4.2 局部Q函数值迭代算法的收敛性分析
    2.5 模型无关最优包含控制
        2.5.1 评价—执行网络设计
        2.5.2 评价—执行网络的在线调整
    2.6 仿真实验
    2.7 本章小结
第三章 基于评价—执行网络的非线性多智能体系统最优一致性控制方法
    3.1 引言
    3.2 预备知识
    3.3 问题描述
    3.4 基于策略迭代的局部Q函数ADP方法
        3.4.1 基于Q函数的策略迭代算法
        3.4.2 策略迭代算法的收敛性分析
        3.4.3 纳什均衡和稳定性分析
    3.5 基于神经网络的评价—执行网络设计
        3.5.1 基于神经网络的评价网络设计
        3.5.2 基于神经网络的执行网络设计
        3.5.3 评价—执行网络的在线调整
    3.6 仿真实验
        3.6.1 仿真实验一
        3.6.2 仿真实验二
    3.7 本章小结
第四章 部分可观环境下异构多智能体系统输出一致性控制方法
    4.1 引言
    4.2 问题描述
    4.3 利用可测数据的多智能体系统输出一致性控制
        4.3.1 可测输入/输出数据的状态表示方法
        4.3.2 基于自适应动态规划的输出一致性控制方法
    4.4 迭代自适应动态规划算法的实现
    4.5 仿真实验
    4.6 本章小结
第五章 基于高斯过程回归的双阶段值迭代评价网络设计方法
    5.1 引言
    5.2 基于高斯过程回归的评价网络设计
    5.3 问题描述
    5.4 双阶段值迭代算法
    5.5 仿真实验
        5.5.1 单智能体系统仿真实验
        5.5.2 多智能体系统仿真实验
    5.6 本章小结
第六章 总结与展望
    6.1 总结
    6.2 展望
致谢
参考文献



本文编号：3838777