借助8块RTX 4090显卡，即可实现与H20相当的671B满血性能，整体部署成本直降50%，成为企业级AI应用的高性价比首选方案。

写在前面：市场上用于部署满血671B大模型的H20服务器，单台售价大约在120万至130万元——这个数字对许多企业来说，确实是笔不小的投入。AI落地正在加速，降低算力成本是快速拥抱AI时代的关键所在。经过对现有方案的反复比对和实际验证，这里推荐一个极具竞争力的选择：只需H20一半的成本，就能在企业级环境下流畅运行FP8精度的671B满血模型。

（文章较长，耐心看完有惊喜哦 ）

一、硬件系统需求

略（具体硬件配置后续展开）

二、Ubuntu 22.04 Server版系统安装流程

这一步相对简单，这里不再赘述。

（系统安装步骤可参考相关文档，但请务必确保版本完整性）

三、KLLM一键化安装部署

补充说明：KLLM是清华大学MADSys团队开发的高性能大模型推理引擎（年初火爆全网的KTransformers正是该团队的杰作）。它分为开源版和商业版，开源版即大家熟知的KTransformers，适合个人玩家；若用于企业级环境，则必须使用商业版。

具体操作步骤如下：

1. 获取安装包并存入移动硬盘

拿到商业版软件安装包后（本次安装包为：zhiwen-20250625_1520.tar.gz），将其放入移动硬盘。

2. 插入移动硬盘并挂载

以sdb1为例，先检查是否识别：

lsblk

然后挂载到系统：

sudo mkdir -p /mnt/usb
sudo mount /dev/sdb1 /mnt/usb

3. 复制安装包和模型

sudo mkdir -p /mnt/data/deploy
sudo mkdir -p /mnt/data/models
sudo cp -r /mnt/usb/zhiwen-20250625_1520.tar.gz /mnt/data/deploy/
sudo cp -r /mnt/usb/models/* /mnt/data/models/

4. 安装部署

cd /mnt/data/deploy/20250625_1520
sudo bash install.sh

等待执行完成即可。

四、镜像更新

下载最新安装包，解压到 /mnt/data/deploy 目录。之后：

cd /mnt/data/deploy
# 进入上一次的安装目录停止服务
sudo docker-compose -f docker-compose.yaml --env-file conf/config.env down
# 进入新解压目录进行更新
sudo bash install.sh -u

五、服务检查

1. 在KLLM中启动模型

KLLM支持20余种模型部署，除FP8的671B外，还有DeepSeek 32B的int4、int8等多种精度。启动时，需注意填写高级设置。

1.1 模型所需显存粗略计算

• fp16：模型参数量 × 2 + 10G（例如14B模型全量，需14×2+10=38G，因此需要两张4090）
• fp8：模型参数量 + 10G（例如32B-int8，需32+10=42G，同样需要两张4090）

1.2 查看模型支持的上下文长度

进入日志目录：/mnt/data/deploy/logs/ames/serve，执行 ls -alh 查看。

2. 跑671B FP8的实际测试数据

六、其他注意点

1. NVIDIA显卡开启/关闭ECC

针对48G显卡仅显示46G显存的情况，需检查并关闭ECC：

• 查看ECC状态：nvidia-smi -q -d ecc，正常关闭时状态图中应显示“N/A”。
• 关闭/开启：nvidia-smi -i n -e 0/1（0关闭，1开启），重启后生效。

示例：

nvidia-smi -i 0 -e 0   # 关闭ECC
nvidia-smi -i 0 -e 1   # 开启ECC

2. Ubuntu 22.04内核禁止升级操作步骤

在Ubuntu 22.04上防止内核自动升级，需执行以下三步：

• 禁用unattended-upgrades

编辑 /etc/apt/apt.conf.d/20auto-upgrades，将 Unattended-Upgrade "1"; 改为 Unattended-Upgrade "0";：

APT::Periodic::Update-Package-Lists "1";
APT::Periodic::Unattended-Upgrade "0";

• 锁定当前内核版本

先用 uname -r 查看内核版本，假设为 5.15.0-136-generic，则锁定相关包：

sudo apt-mark hold linux-image-5.15.0-136-generic linux-headers-5.15.0-136-generic linux-modules-5.15.0-136-generic linux-modules-extra-5.15.0-136-generic

验证：dpkg --get-selections | grep linux-image，显示 hold 即为锁定成功。

• 禁用自动更新

编辑 /etc/apt/apt.conf.d/10periodic，将所有选项设为0：

APT::Periodic::Update-Package-Lists "0";
APT::Periodic::Download-Upgradeable-Packages "0";
APT::Periodic::AutocleanInterval "0";
APT::Periodic::Unattended-Upgrade "0";

保存退出，系统即不再自动升级内核。