提升传统模型的推理能力，打造专属个人AI分身——微调技术正迎来全新突破。核心要点有三：基于DeepSeek的微调方法显著增强了模型的思考深度；微调门槛大幅降低，小尺寸模型同样能实现高精度推理；个人AI分身的应用场景已触手可及，未来将更加普及。

采用DeepSeek的策略进行微调，可以明显激活传统模型的逻辑推理能力。训练完成的模型文件已上传至Hugging Face，基于Qwen2.5 3B，通过微调强化了数学运算能力，并生成Q4、Q5、Q8三个精度版本。对比Q4精度的效果——测试一个经典问题：9.9和9.11哪个更大？原版回答不仅错了，理由也完全混乱，出现了“小数部分相同，唯一的区别在于十分位”这样的错误论断。而微调后的版本则正常许多：整数部分一致，直接比较小数部分，自然得出9.9更大的结论。

这套技术并非原创，而是来源于Unsloth团队。他们近日发布博客详细介绍了方法并提供了开源代码。简单来说，Unsloth实现了两项关键突破：第一，微调的硬件门槛大幅下降。像1.5B这样的小参数模型，仅需7GB显存即可完成微调；7B、14B级别的模型，15GB显存也足够使用。换言之，消费级PC就能胜任。如果利用云端算力，比如Google Colab的T4 GPU，一小时就能顺利跑完。第二，模型能力显著提升。GRPO是DeepSeek发明并开源的强化学习算法，配合对应数据集，能训练出推理能力更强、可解释性更好的模型。如今Unsloth将其整合到微调流程中，进一步拓展了想象空间。

举个例子：私域模型。一位商业博主，拥有自己的方法论和大量真实交付案例。他把过往积累整理成结构化数据集，包含问题、答案以及详细的解题步骤。利用Unsloth这套工具进行微调，生成一个3B参数的模型，然后分发给用户——无论是免费还是收费形式。用户拿到后，使用之前介绍的方法在手机上运行，随时随地、无需联网，就能与这位博主的AI分身进行交流。以往，只有博主发布视频、文章或在群内发言时，粉丝才能接收信息。如今有了这个方案，粉丝可以无限制地被这个IP持续影响和赋能。

此前分享过手机端运行模型的方法，遭到不少人质疑，认为没意义、没价值。但扎心的事实是：眼界太窄，往往就会错失机遇。

回到今天的主题：用强化学习算法微调模型。在介绍Unsloth工具之前，需要先用通俗的方式讲清基本概念——可能不够严谨，但一定能让读者理解。

传统的强化学习，需要准备大量包含解题步骤的高质量数据，以及非常精确、绝对的奖励函数，然后大力出奇迹，硬性训练模型。后来DeepSeek发现其实不必那么费力——奖励函数可以设计得更加灵活。针对每个问题，让模型生成一组答案，然后比较组内哪个答案相对更好，据此给予奖励。传统方法像填鸭式教学，靠反复刷题蒙混过关，最终只知其然而不知其所以然，依然学不透彻。而DeepSeek的方法则是引导模型反复思考解题步骤，最终不仅知其然还知其所以然，模型仿佛“顿悟”了，学霸由此诞生。

如果还不明白，再打个比方：传统方法训狗，需要明确每个动作并设计奖励机制，只有完全按指令完成才能获得奖励。而DeepSeek的方法是让狗做一个动作三次，三次中相对较好的那一次获得奖励，然后不断重复。有养狗经验的人都清楚，这种方式主人轻松，狗子开心，训练效果也好。

DeepSeek大方公开后，Unsloth立即将其落地应用。不过使用时需要明确一些限制：微调的模型至少需要1.5B参数，否则无法正确生成思考标记——这正是选择3B尺寸的原因，既满足训练要求，也能在手机上流畅运行。此外，步数至少要达到300步，奖励才会真正开始上升。为了达到理想效果，建议至少训练12小时。

官方示例中使用的数据集是GSM8K，包含8500个高质量的小学数学文字题，每个问题需要2到8个步骤才能解决，且解题方法用自然语言编写而非纯数学表达式，非常适合提升多步骤数学推理能力。类似的数据集还有MATH Dataset、MathQA等。建议先别急着导入自己的私有数据集，先用这些公开数据集练练手。因为更换数据集后，格式和特点不同，奖励函数也可能需要相应调整。

超参数的调整也需要大量实践。比如学习率——控制模型的学习速度，设太高可能错过最优解，太低则浪费时间。Batch size——每次喂给模型的数据量，太大可能导致内存不足，太小可能导致学习不稳定。微调和RAG一样，看起来简单，但真要获得好效果，需要大量调试积累。这东西无法直接教，只能“干中学”。但有门槛反而是好事，跨过去了，就能甩开一大截人。

目前已经在Google Colab上购买了计算单元，最近会做各种测试。至于数据集，过去一年在知识星球里回答的诸多问题，都可以转换成训练数据——让模型批量处理，整理进数据集。通过微调打造AI分身、训练私域模型的想法，其实在做Llamafile那期节目时就已萌生，如今实现的可能性正越来越大了。