# YELvw8sX7iQZGlkZXZRc6iGWnLF

Source: https://ocnmca6f1o0p.feishu.cn/wiki/YELvw8sX7iQZGlkZXZRc6iGWnLF


## 工作内容概述
1、学习LoRA进行模型微调

> :face_with_monocle:
今天看到Google为**Gemma 4推出多 Token 预测 (Multi-Token Prediction, MTP) 草稿器**，能将推理Gemma 4速度提升两到三倍。谷歌已经有了Gemini这样的大模型，为什么还要为Gemma 4下这么大功夫。我的想法是小模型的核心价值正在于“**可深度定制**”。Gemma这类开源基座，真正的作用是被开发者拿去二次蒸馏或微调，打磨成适配自身垂直业务的专属模型，而MTP这类加速技术则让业务落地时响应更快、成本更低——从Gemini浓缩到Gemma，再从Gemma蒸馏出细分场景的专家。
## **一、LoRA技术**
LoRA 是一种轻量级的大模型微调技术，核心思想是在原始预训练权重旁边附加低秩矩阵，仅训练这些小参数，而不动原始模型。
**（一）工作原理**
  - 模型全量微调时，需要更新全部权重矩阵 ，显存和计算开销极大。
  - LoRA 的把戏：权重更新量 用两个小矩阵  和  的乘积来近似，即 ，其中 A,B*A*,*B* 都是低秩矩阵，参数量远小于原始 。
  - 前向计算变为：。训练时冻结 ，只更新  和 。
**（二）能干什么**
  - **极低成本微调大模型**： 在单个消费级显卡上就能微调 7B、13B 甚至更大的模型。
  - **多任务快速切换**： 不同任务只需保存和加载不同的 LoRA 权重文件（通常几 MB 到几十 MB），无需为每个任务存一份完整模型。
  - **领域适配与个性化**： 用少量领域数据即可让通用大模型变成“行业专家”，如医疗问答、法律文书、游戏 NPC 人格化等。
  - **保护原模型能力**： 不破坏基座模型的通用知识，可随时插拔，几乎无灾难性遗忘风险。
  - **结合知识蒸馏**： 可与“大模型教小模型”流程天然配合，让小模型在特定任务上以极小代价继承大模型能力。
## **二、结合知识蒸馏的好处**
用大模型针对不同任务分别生成训练数据，教出客服小模型、摘要小模型、编程小模型等。每个小模型只做一件事，效果更稳、更好调优。
不是所有场景都适合配备昂贵的服务器集群，小模型让算力有限的环境也能用上好用的 AI。
大模型跑一次需要的显卡和时间远多于小模型。同样的服务，换小模型能让服务器开销降到几十分之一。如果拿API来调用，大模型调用成本比较高，不适合低收入的场景，而小模型可以直接跑在本地服务器就行，对服务器的要求也没有那么高。
大模型生成一段话可能要好几秒，小模型往往不到一秒。用户等待时间短，同时能服务更多的用户。
## 三、学习实践
为了微调的速度，选用的模型基座是gemma-3-1b，通过LM Studio进行调用
**（一）源码整理与种子构建**
  - 通过开源项目抽取源码片段/文件，生成训练种子提示词，目标是让后续教学内容紧贴业务代码。
**（二）通过 MiniMax 进行教学数据生成**
  - 调用 MiniMax API，对每个源码样本生成高质量讲解与改进建议。
  - 将「源码+ MiniMax 讲解」拼合成监督数据，形成 train.jsonl。
  - 对低质量样本做清洗，提升训练数据密度和准确性。
**（三）Unsloth LoRA 微调训练**
  - 使用 unsloth/gemma-3-1b-it-unsloth-bnb-4bit 进行微调。
  - 本轮在已有权重基础上续训（gemma-lora-v1 -> gemma-lora-v2），提高对项目代码风格与解释能力的适配。
**（四）训练结果与模型产物**
  - 成功产出新的 LoRA 适配器权重（gemma-lora-v2）。
  - 训练 loss 收敛正常，进入部署转换阶段。
**（五）部署链路准备（本地LM Studio调用）**
  - 按流程执行：LoRA 合并全量模型 -> 转 GGUF(F16) -> 量化(Q4_K_M) -> 导入 LM Studio。
![图片](../feishu-images/YELvw8sX7iQZGlkZXZRc6iGWnLF_MeGTb7d8iobe.png)
![图片](../feishu-images/YELvw8sX7iQZGlkZXZRc6iGWnLF_W5HIbCxH3oq4.png)

> :smile:
试下来感觉，1B模型的底子确实偏薄，生成内容还是容易“胡言乱语”。不过经过一段时间学习后，在输出格式和风格上明显向它的“师傅”Minimax靠拢了。