基于深度强化学习的群体对抗策略研究

发布时间：2022-12-18 01:32

　　多智能体强化学习方法之前一直在博弈论和控制论的基础上进行研究,但是实验结果表明,这一类多智能体强化学习方法无法处理现实生活中的复杂问题。直到最近几年深度学习技术和强化学习技术的成熟,给群体智能的研究带来了新的解决方案。通过深度神经网络来拟合策略函数使得智能体有更强的处理复杂问题的能力。本课题主要研究多智能体强化学习方法在对抗与协作环境下的应用,以及算法稳定性的提升和智能体的规模的扩大,使得智能体能够像人类一样在复杂环境下能够互相协作地与其他智能体进行对抗。首先,本文的研究在GYM平台上进行,该平台包含众多游戏场景,是由Open AI开发的供给强化学习方法研究平台。本文根据MADDPG算法实现了一个群体智能对抗策略。该策略能够与GYM平台进行交互,读取智能体集群的信息,然后做出决策,控制智能体集群中的智能体互相协作,达到与其他智能体集群对抗的目的。其次,本文针对DDPG方法做出了改进,将确定性策略改为随机策略,以增加样本的复杂性,提高算法的稳定性,并对DDPG的策略梯度更新方式做出了修改,保证算法性能在训练过程中保持单调不减。本文还在改进后的MADDPG算法的基础上加入注意力机制,使得智... 

【文章页数】：64 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第1章 绪论
    1.1 课题研究的背景和意义
    1.2 国内外研究现状
        1.2.1 国内外研究现状
        1.2.2 国内外研究问题简析
    1.3 主要研究内容
    1.4 内容安排
第2章 深度强化学习理论与研究环境介绍
    2.1 深度学习原理
        2.1.1 多层感知机网络
    2.2 强化学习简介
        2.2.1 马尔可夫决策过程
        2.2.2 强化学习理论
        2.2.3 强化学习特性
    2.3 多智能体强化学习理论
        2.3.1 矩阵博弈
        2.3.2 博弈概念
    2.4 注意力(attention)机制简介
        2.4.1 Attention机制介绍
        2.4.2 Encoder-Decoder框架
        2.4.3 Attention机制
    2.5 研究平台介绍
    2.6 本章小结
第3章 基于DDPG的改进算法
    3.1 强化学习和Q-learning原理
        3.1.1 强化学习简介
        3.1.2 Q-learning原理
    3.2 深度强化学习
        3.2.1 Deep Q-Network算法
        3.2.2 深度策略梯度
    3.3 Actor-Critic架构
        3.3.1 Actor-Critic介绍
        3.3.2 Actor-Critic算法
        3.3.3 确定性策略梯度(DDPG)算法
    3.4 TRPG(Trust Region Policy Gradient)算法基本思想
        3.4.1 DDPG算法的不足
        3.4.2 连续动作空间的表示
        3.4.3 TRPG算法思想
    3.5 模型设计与实验
        3.5.1 实验环境介绍
        3.5.2 实验结果及分析
    3.6 本章小结
第4章 带注意力机制的MATRPG算法
    4.1 多智能体强化学习介绍
    4.2 多智能体强化学习基本算法
    4.3 MADDPG算法介绍
        4.3.1 MADDPG核心思想
        4.3.2 估计其他智能体的策略
        4.3.3 策略集合优化
    4.4 MATRPG算法
        4.4.1 MATRPG核心思想
        4.4.2 模型设计与实验结果对比
    4.5 带注意力机制的MATRPG
        4.5.1 设计思路与模型设计
        4.5.2 实验结果与分析
    4.6 本章小结
结论
参考文献
攻读硕士学位期间发表的论文及其它成果
致谢



本文编号：3721057