本次查询：Tensor Parallelism
中文解释：张量并行
常见场景：大模型训练与推理 / 尤其是参数量超过单卡显存容量的Transformer模型
一句话解释
张量并行（Tensor Parallelism）是一种将神经网络中某一层的权重矩阵或中间激活张量切割成多个分片，分别放在不同GPU上同时计算，最后再合并结果的并行策略。
为什么会被关注
随着GPT-3、Llama等大模型参数突破百亿甚至千亿，单张GPU已无法承载完整的模型权重。张量并行能在不增加显存总量需求的前提下，将计算负载均匀分到多张卡上，大幅降低单卡显存压力。
同时，它与其他并行技术（数据并行、流水线并行）互补，成为构建万卡集群训练系统的关键组件。业界主流框架如Megatron-LM、DeepSpeed和PyTorch FSDP都内置了张量并行支持。
核心逻辑
核心思路是将矩阵乘法（如注意力机制中的QKV运算）按行或按列切分。例如，在Transformer的前馈网络层中，将权重矩阵W切分为两个子矩阵W1和W2，分别放在两张GPU上计算，每张卡只负责一半输出维度的计算。
计算过程中需要引入通信操作：前向传播时对部分结果进行求和（All-Reduce），反向传播时同步梯度。这种“计算-通信-计算”的流水线设计使得整体吞吐量近似线性扩展，但通信开销会随切分数量增加而上升。
常见场景
大语言模型（LLM）预训练：当模型参数量超过单卡显存（如A100 80GB）时，必须使用张量并行把每一层的参数分布到8张甚至更多卡上。典型配置是单节点内用NVLink高速互联的GPU组内做张量并行。
大模型推理服务：即使模型已经训练完成，推理时单卡也可能放不下完整参数。张量并行可将模型拆分到多卡上并行生成token，降低首token延迟。许多云推理服务（如vLLM、TensorRT-LLM）都集成了该策略。
容易混淆的点
张量并行常与模型并行（Model Parallelism）混用。严格来说，模型并行是广义概念，包括层间并行（流水线并行）和层内并行（张量并行）。张量并行特指对单个张量运算的切分，而非将不同层分配到不同设备。
另一个易混淆点是数据并行（Data Parallelism）。数据并行是复制完整模型到多卡，每卡处理不同batch；而张量并行是分割模型本身。两者可叠加使用：数据并行处理batch维度，张量并行处理模型内部维度。