大规模低功耗数据存储系统的关键技术研究

发布时间：2022-12-10 14:33

　　当今社会信息化程度日益提高,数据已经成为我们日常工作和生活的重要资源。人们早已进入一个数据爆炸的时代,全球数据总量正在以惊人的速度增长。据统计,2018年全球产生的数据总量为33ZB,而到2025年该数值预计将达到175ZB。随着数据规模的不断增大,海量数据的存储成为迫切的需求。另一方面,海量数据存储所带来的高能耗问题也越来越凸显。据统计,2017年中国数据中心总耗电量达到了 1300亿千瓦时,该数值远超过当年三峡大坝全年发电总量976亿千瓦时。在数据中心能源消耗中,存储设备能耗所占的比例为25-35%。此外,存储设备运行过程中产生的热量会加重机房制冷系统的负担,从而这又进一步提高了数据中心的能源开销。因此,合理降低存储系统的能源开销对实现数据中心节能环保具有十分重要的意义。在数据中心,通常只有10～15%的数据处于被频繁访问的状态,而剩余部分数据则被称为冷数据。对于冷数据存储节点而言,其没有较高的计算能力需求,而传统的存储系统通常采用单一的高性能存储方案,因此会产生硬件成本高、系统功耗高等问题。特别是当存储规模逐步扩大时,硬件成本和能耗开销将显著攀升。本文对大规模冷数据的高效存储相关... 

【文章页数】：143 页

【学位级别】：博士

【文章目录】：
摘要
ABSTRACT
第一章 绪论
    1.1 研究背景
    1.2 存储系统发展简介
        1.2.1 硬盘驱动器
        1.2.2 硬盘阵列
        1.2.3 传统网络存储
        1.2.4 分布式存储系统
    1.3 存储系统相关技术研究现状
        1.3.1 数据校验技术
        1.3.2 数据容错技术
        1.3.3 硬盘故障预测技术
        1.3.4 存储系统节能技术
    1.4 论文的研究内容与创新点
        1.4.1 并行CRC算法
        1.4.2 基于硬件加速的Reed-Solomon编码
        1.4.3 基于LSTM的硬盘健康状态预测方法
        1.4.4 大规模低功耗存储系统设计与实现
    1.5 论文结构
第二章 并行CRC算法
    2.1 概述
    2.2 CRC算法
        2.2.1 算法描述
        2.2.2 Sarwate算法
        2.2.3 Slicing-by-4算法
    2.3 多数据流并行CRC算法
        2.3.1 数据折叠
        2.3.2 多数据流交织的CRC并行算法
    2.4 多线程并行CRC算法
        2.4.1 模乘法运算
        2.4.2 系数β_p的快速计算
    2.5 实验与算法评估
        2.5.1 实验环境及流程
        2.5.2 多数据流并行CRC算法实验结果
        2.5.3 多线程并行CRC算法实验结果
    2.6 本章小结
第三章 基于硬件加速的Reed-Solomon编码
    3.1 概述
    3.2 Reed-Solomon编码
        3.2.1 Reed-Solomon算法的编码策略
        3.2.2 Reed-Solomon算法的编码过程
        3.2.3 Reed-Solomon编码的恢复过程
        3.2.4 有限域上的运算
    3.3 基于硬件加速的Reed-Solomon编码
        3.3.1 指令集简介
        3.3.2 算法设计
    3.4 实验与算法评估
        3.4.1 实验环境及流程
        3.4.2 实验结果分析
    3.5 本章小结
第四章 基于LSTM的硬盘健康状态预测方法
    4.1 概述
    4.2 理论背景
        4.2.1 循环神经网络
        4.2.2 长短期记忆网络
        4.2.3 随机森林
    4.3 基于LSTM的硬盘健康状态预测方法
        4.3.1 特征选择
        4.3.2 SMART属性变化率特征
        4.3.3 硬盘健康等级划分
        4.3.4 构建预测模型
        4.3.5 迁移学习
    4.4 实验与模型评估
        4.4.1 数据集
        4.4.2 数据预处理
        4.4.3 性能评估指标
        4.4.4 实验设置
        4.4.5 实验结果
    4.5 本章小结
第五章 大规模低功耗存储系统设计与实现
    5.1 概述
    5.2 系统整体框架介绍
        5.2.1 虚拟节点
        5.2.2 元数据节点
        5.2.3 传输节点
        5.2.4 存储节点
        5.2.5 客户端
    5.3 名称空间管理
        5.3.1 文件元数据记录
        5.3.2 名称空间相关操作
    5.4 存储空间管理
        5.4.1 数据块大小
        5.4.2 硬盘组
        5.4.3 可用空间列表
        5.4.4 硬盘空间分配算法
    5.5 系统性能测试
        5.5.1 系统硬件配置
        5.5.2 实验结果
    5.6 本章小结
第六章 总结与展望
    6.1 本文主要工作总结
    6.2 未来工作的展望
参考文献
附录: 缩写词说明
致谢
攻读学位期间发表的学术论文和专利目录


【参考文献】：
期刊论文
[1]如何存储“冷数据”?[J]. 郭嘉凯.  软件和信息服务. 2013(10)



本文编号：3716923