基于“神威太湖之光”的Caffe分布式扩展研究

发布时间：2024-03-22 03:56

　　随着深度学习的快速发展,其规模越来越大,需要的计算越来越复杂。分布式扩展技术可以有效提高大规模数据的处理能力。基于神威太湖之光超算平台对深度学习框架Caffe进行分布式扩展研究,对比同步方式下参数服务器分布式扩展方法和去中心化的分布式扩展方法。实验表明,同步方式下,去中心化的分布式扩展方法相比参数服务器分布式扩展方法在通信效率方面具有明显的优势,对特定的模型通信性能提高可达98倍。

【文章页数】：6 页

【部分图文】：

图1“神威太湖之光”系统架构图

“神威太湖之光”是世界上首台峰值运算速度超过十亿亿次量级的超级计算机,也是中国第一台全部采用自主技术构建的世界第一的超级计算机[6]。“神威太湖之光”计算机系统采用基于高密度弹性超节点和高流量复合网络的高效能体系结构,由高速计算系统、辅助计算系统、高速计算互联网络、辅助计算互联网....

图2SW26010异构众核处理器架构

系统峰值运算性能125.436PFLOPS,实测LINPACK持续运算性能为93.015PFLOPS,LINPACK系统效率达到74.153%,内存总容量1024TB,访存总带宽4473.16TB/s,互联网络的网络链路带宽14GB/s,I/O聚合带宽341GB/....

图3CNN组成图

CNN由输入层、输出层和卷积层、池化层等多个隐藏层组成。输入层一般为一个二维向量。卷积层是CNN的核心,用于从输入层或较低级别的特征图提取更高层次的特征。池化层的作用是简化卷积层的输出。输出层完成对结果的预测,一般为一个Softmax函数。CNN组成如图3所示。CNN需要为给定的....

图4参数服务器方式架构示意图

参数服务器分布式扩展方式由一个或多个参数服务器节点和多个计算节点组成。参数服务器节点(ParameterServer)存储和更新全部的网络参数W。计算节点进行网络的前向特征计算和反向梯度计算。反向传播时,每个网络层从下到上依次计算损失函数相对权重的梯度,并将所在层的梯度传递给参....

本文编号：3934599