第3章 硬件实现：CUDA架构核心解析

GPU的硬件设计是CUDA生态的基础，深入理解这部分内容对编写高性能并行代码至关重要。本章首先从设备的基本架构展开分析。

3.1 基于芯片共享内存的SIMD多处理器架构

CUDA设备本质上由一组多处理器（multiprocessors）组成，如图3-1所示。每个多处理器采用单指令多数据（SIMD）架构——即在任何一个时钟周期内，多处理器中的每个处理器执行相同的指令，但各自处理不同的数据。这一设计至关重要：并行性并非来自不同指令流，而是通过同一指令流同时处理海量数据来实现。

每个多处理器内部集成四种类型的芯片内存储器：

• 每个处理器拥有一组私有的本地32位寄存器
• 所有处理器共享的并行数据高速缓存——即共享内存（shared memory），提供真正的共享内存空间
• 所有处理器共享的只读常量高速缓存（constant cache），用于加速从常量内存空间的读取，常量内存是设备内存中的一个只读区域
• 所有处理器共享的只读纹理高速缓存（texture cache），加速从纹理内存空间的读取，纹理内存同样属于设备内存的只读区域

需要特别注意的是，本地和全局内存空间属于设备内存的读写区域，它们没有高速缓存机制。因此，对这些区域的频繁随机访问可能导致严重的性能瓶颈。

每个多处理器通过纹理单位（texture unit）访问纹理高速缓存，该单位负责实现2.3节中讨论的各种寻址模式和数据筛选功能。

3.2 执行模型：线程块与warp调度

线程块的网格通过将块调度到多处理器上来执行。每个多处理器会分批处理块，每个块只能分配给一个多处理器。因此，块的共享内存空间驻留在芯片的共享内存中，从而实现极快的内存访问速度。

由于多处理器的寄存器和共享内存资源会在该批次的所有线程间分配，每个多处理器每批能处理的块数量取决于给定内核每秒需要的寄存器数量以及每块所需的共享内存大小。如果多处理器上没有足够的寄存器或共享内存来处理至少一个块，内核将无法启动。

在一个批次内，由单个多处理器处理的块被称为活动（active）块。每个活动块进一步划分为多个SIMD线程组，这些线程组称为warp。每个warp包含固定数量的线程——即warp大小，warp中的线程以SIMD方式由多处理器执行。活动warp（即所有活动块中的所有warp）采用分时执行机制：线程调度器（thread scheduler）定期从一个warp切换到另一个warp，以最大化多处理器计算资源的利用率。半warp（half-warp）指的是一个warp的前一半或后一半线程。

块被划分为warp的方式始终一致：每个warp包含线程ID连续递增的线程，其中第一个warp包含线程0。2.2.1节介绍了线程ID与块内线程索引的关联方式。

块中warp的执行顺序是不确定的，但它们可以通过同步机制协调对全局或共享内存的访问，具体方法见2.2.1节。

线程块网格中块的执行顺序同样未定义，且块之间没有任何同步机制。因此，在网格执行期间，来自同一网格的两个不同块中的线程无法通过全局内存安全地进行相互通信。

最后，关于写操作的一个陷阱：如果warp的多个线程执行一条非完整（non-atomic）指令，写入全局或共享内存中的相同位置，那么该位置发生的序列化写入次数及写入顺序都是不确定的。不过可以保证至少有一次写入会成功。如果warp的多个线程执行一条完整（atomic）指令（参见4.4.6），对全局内存中的相同位置进行读取、修改和写入操作，那么每次读取、修改和写入都会依次发生，并全部序列化，但发生的先后顺序仍不确定。

3.3 计算能力：设备性能等级划分

设备的计算能力（compute capability）由主修订号和次修订号定义。主修订号相同的设备拥有相同的核心架构。附录A中列出的设备均属于计算能力1.x系列（主修订号为1）。次修订号对应核心架构的增量改进，可能包含新功能的引入。各种计算能力的技术规范详见附录A。

3.4 多设备协同：多GPU系统配置

在支持多GPU的系统中，应用程序可以使用多个GPU作为CUDA设备，但只有这些GPU类型完全相同时，才能保证正常工作。不过，如果系统处于SLI模式，则只有一个GPU能作为CUDA设备使用——因为在驱动程序堆栈最底层，所有GPU已被融合为一个。若希望CUDA将每个GPU识别为独立设备，需要在控制面板中关闭SLI模式。

3.5 模式开关：显示分辨率与内存分配

GPU会从DRAM内存中划分出一部分作为所谓的主表面（primary surface），用于显示设备的刷新。当用户更改显示分辨率或位深度（通过NVIDIA控制面板或Windows中的显示控制面板）触发模式开关时，主表面所需的内存量也会随之变化。例如，若用户将显示分辨率从1280×1024×32位改为1280×1024×32位，系统必须将7.68MB而非5.24MB指定为主表面。（运行时启用了反混淆的全屏图像应用程序需要更多显示内存作为主表面。）在Windows系统中，其他可能触发显示模式开关的事件包括：启动全屏DirectX应用程序、按下Alt+Tab切换出全屏DirectX应用程序、或者按下Ctrl+Alt+Del锁定计算机。

如果模式开关增加了主表面所需的内存量，系统可能不得不从已分配给CUDA应用程序的内存中抽调资源，从而导致这些应用程序的同类处理。