面向堆叠异构系统的应用透明策略研究

发布时间：2024-03-12 04:51

　　为了延缓摩尔定律的终结,人们开始从半导体技术以外的方向来提升芯片的性能。在这些新方向中,堆叠技术和异构众核加速技术已经逐渐被认可,并得到了广泛的应用。堆叠异构系统如今已成为数据中心重要的硬件基础,随着云计算的不断发展和广泛应用,堆叠异构系统开始为云计算提供强大的计算加速能力。然而,云计算的软硬件资源以服务的形式同时提供给大量租户,而多租户之间完全隔离。用户难以从纯软件角度在云环境中针对硬件特征进行性能优化。因此,应用透明的性能优化策略显得尤为重要。本文针对堆叠异构系统中的内存超额配置造成的性能骤降问题、多任务抢占的上下文切换高开销问题和堆叠互连网络结构的负载不均衡问题,提出了一系列应用透明的策略,在不修改应用程序代码的前提下,高效地优化应用程序的性能。本文的主要研究成果及创新点如下:(1)提出了一种内存超额配置管理框架如今云服务提供商往往将超出其硬件资源的服务提供给用户,以提高资源利用率。但是,对于一些对资源需求较高的用户(如深度学习训练),很容易出现内存紧缺的问题。当代GPU已经能够支持内存超额配置,但是我们实验发现在内存超额配置的情况下,应用程序遭受了严重的性能损失,亟需一种应用透...

【文章页数】：130 页

【学位级别】：博士

【部分图文】：

图1.1研究框架概述

本文解决的三大问题主要位于堆叠异构系统的应用调度、网络和存储三部分。这三部分相互独立,但并不冲突。这些应用透明策略的共同应用,有助于缓解堆叠异构系统在不同层次的瓶颈,提升堆叠异构系统的性能。在数据中心系统中,有助于优化多租户下的系统性能,同时对程序员的要求较低。1.4论文组织结....

图2.12.5维堆叠集成电路

三维堆叠集成技术可以将存储器直接堆叠在处理器晶圆之上。不同于三维堆叠集成技术,如图2.1所示,2.5维堆叠策略的解决方案则是分别把存储器和处理器相邻地堆叠在硅中介层上,通过硅中介层的连线进行通信。基于硅中介层的2.5维堆叠技术虽然是一代进化技术,但其能够在存储带宽和容量、热问题以....

图2.2CPU和GPU典型结构的抽象图

现代GPU由许多计算核组成。NVIDIA将这些计算核心称为流式多处理器(StreamMultiprocessor,SM),AMD将其称为计算单元(ComputeUnit,CU)。每个GPU计算核执行与已经启动以在GPU上运行的内核函数相对应的单指令多线程(SIMT)程序。GP....

图2.3C代码版本的SAXPY计算

图2.4则提供了相应的SAXPY的CUDA版本,可以在CPU和GPU之间分别执行相应部分的代码。与传统的C或C++应用程序类似,图2.4中的代码通过在CPU上运行main()函数开始执行。我们将重点放在GPU部分执行的代码。在GPU上执行的线程是由函数指定的计算内核函数(kern....

本文编号：3926570