基于强化学习的认知无线电网络频谱分配方法研究

发布时间：2023-02-05 14:13

　　随着移动互联网的快速发展和智能终端技术的不断更新,无线移动用户的数量在过去几年中不断增加。预计这种趋势将在未来几年内会一直持续。考虑到用户数量的蓬勃发展,无线网络的移动流量也将不断增加。为了满足未来移动通信的需求,应不断的提高网络容量。增加容量的有效方法是为无线通信系统分配更多的频谱资源。然而,随着频谱行业的迅速发展,频带已经变得人满为患,但用户对频谱资源的需求却越来越迫切,从而导致频谱变成了一种稀缺资源,因此为网络中的每个用户分配足够的频谱资源是不现实的。另一方面,由于传统的频谱管理策略仍存在一些不足,例如,频带只允许获权的主用户使用,未获权的辅助用户不允许使用该频带,这类问题导致已分配的频谱资源并未得到充分的利用。在这样的背景下,为了缓解这一矛盾,提高频谱的利用率是刻不容缓的,认知无线电技术便应用而生。认知无线电技术以认知能力为核心,并且可以从环境中学习并适应该环境,这为缓解频谱短缺和频谱利用率不足的问题提供了有效的解决方案。在认知无线电网络中,具有自主学习能力的强化学习算法能够更好的解决频谱分配问题,强化学习算法可以为有限马尔可夫决策过程(MDP)确定最佳策略,该策略用于对不确定...

【文章页数】：52 页

【学位级别】：硕士

【文章目录】：
摘要
Abstract
第1章 绪论
    1.1 研究背景与意义
    1.2 国内外研究现状
    1.3 论文主要内容
    1.4 论文的组织结构和创新点
第2章 强化学习与认知无线电基本理论
    2.1 强化学习背景
        2.1.1 强化学习的介绍
        2.1.2 马尔可夫决策过程
        2.1.3 常见的强化学习算法
    2.2 认知无线电的关键技术
        2.2.1 频谱感知技术
        2.2.2 频谱决策技术
        2.2.3 频谱共享技术
        2.2.4 频谱迁移性
    2.3 频谱分配模型
        2.3.1 基于图着色论的模型
        2.3.2 基于拍卖竞价的模型
        2.3.3 基于博弈论的模型
        2.3.4 基于Q学习的模型
    2.4 本章小结
第3章 改进奖励机制的Q学习算法
    3.1 引言
    3.2 系统模型
    3.3 动态频谱接入
    3.4 自适应调制编码
    3.5 体验质量
        3.5.1 数据MOS模型
        3.5.2 视频MOS模型
    3.6 问题形式化
    3.7 基于Q学习的动态频谱分配
        3.7.1 定义动作和状态空间
        3.7.2 改进的奖励机制
        3.7.3 动态频谱接入的Q学习算法
    3.8 实验结果与分析
    3.9 本章小结
第4章 基于博弈的Pareto-Q学习算法
    4.1 引言
    4.2 系统模型
    4.3 问题建模
    4.4 问题形式化
    4.5 基于博弈的Pareto-Q学习算法
    4.6 实验结果与分析
    4.7 本章小结
第5章 总结与展望
    5.1 研究总结
    5.2 研究展望
参考文献
在读期间发表的学术论文及研究成果
致谢



本文编号：3735113