这篇文章主要围绕两个核心话题展开：模型部署与压缩，以及大模型应用开发。先说几个关键点：模型压缩是降低部署成本、提升推理效率的关键手段，而大模型应用开发，则更多关注如何将模型能力落地到实际场景中。
1. 概述
模型部署和压缩，加上大模型开发，是当前AI工程化落地的核心环节。下面我们一步步拆解。
2. 目标
3. AI应用开发流程
4. 如何降低模型部署成本？
5. 模型压缩技术
模型压缩并不是一个笼统的概念，它需要根据模型大小来区分策略。
5.1 小模型压缩方法
5.2 大模型压缩技术
由于Prefill阶段是一次完整的模型推理，而Decoding阶段则需要反复迭代很多次，因此优化的重点在于降低带宽需求，而不是单纯降低计算量。这才是根本思路上的差异。
① KV Cache压缩技术
Streaming LLM
FastGen -- 自适应KV cache压缩
MQA与GQA
② 大模型压缩技术
这里面有几个代表性方向：
- LLM Pruner：高效率的大模型剪枝算法，直接砍掉冗余参数。
- One-shot权重稀疏化：通过权重稀疏压缩，缓解存储与访存压力。
- 大模型PTQ量化：拿掉训练步骤，直接做量化，效率很高。典型方式包括W8A8、W8A16与W4A16。
- 权重低比特量化：比如INT4量化，模型能压缩4倍，权重搬运效率大幅提升。
6. 模型压缩工具介绍
ModelSlim
训练加速-模型低秩分解
训练加速-模型稀疏加速训练
推理加速-大模型量化
推理加速-大模型稀疏量化和权重压缩
推理加速-训练后量化(ONNX)
推理加速-训练后量化（MindSpore）
推理加速-模型剪枝
推理加速-模型蒸馏
7. 大模型部署框架介绍
8. 大模型应用开发
8.1 大模型应用开发流程
8.2 为什么需要RAG？
8.3 向量数据库
工作流程：
向量数据库解决的问题：
为什么使用向量数据库？
向量数据库构建
9. 总结
本文主要介绍了模型部署和压缩相关内容，以及大模型应用开发。从整体来看，这部分内容在笔试中占比大约6%，但它的重要性在实际工程项目中远不止于此。
