大模型做监督微调（SFT），是不是数据越多越好？
直觉上，当然是把完整数据集都喂给模型最稳妥。但在真实训练里，事情并没有这么简单。
全量 SFT 不仅计算成本高，还可能带来过拟合、偏见放大等问题。更关键的是，一个训练集里的样本价值并不相同：有些样本信息量很高，值得反复学习；有些样本高度重复，继续训练只是在浪费算力。
于是，一个问题变得越来越重要：
能不能在训练过程中，让模型一边看数据，一边自动挑出最值得更新参数的样本？
来自清华大学自动化系的研究者提出了UDS（Utility-Diversity Sampling），一个面向大语言模型 SFT 的在线 batch 选择框架。
一句话概括：UDS 不是简单挑 loss 最大的样本，而是利用前向传播中已经产生的 logits，同时评估样本"有没有用"和"够不够多样"，从而在不依赖验证集、参考模型和额外反向传播的情况下，更高效地完成 SFT。
实验显示，在 MMLU、ScienceQA、GSM8K、HumanEval 四个基准上，UDS 在 Llama-3.1-8B 和 Qwen-2.5-7B 上都取得了在线 batch 选择方法中的最优表现。以 Qwen-2.5-7B 为例，UDS 在 MMLU 上达到63.34%，相比 GREATS 提升5.15 个百分点；同时训练吞吐量也高于全量 SFT。
现有方法会"挑数据"，但挑得还不够聪明
在 SFT 中，最朴素的方法是全量训练：每个 batch 里的样本全部参与参数更新。
但这会带来两个问题。
第一，训练贵。大模型每一步反向传播都很耗时，如果大量样本本身价值有限，就会造成计算浪费。
第二，训练未必更好。数据里可能存在重复样本、低价值样本，甚至会让模型更容易过拟合到某些偏置模式。
因此，在线 batch 选择（online batch selection）成为一个自然方向：模型在训练时先看到候选 batch，然后只选出其中一部分样本真正参与参数更新。
已有方法通常会根据样本的utility（效用）进行选择。比如：
MaxLoss：优先选择 loss 最大的样本；
MaxGrad：优先选择梯度范数最大的样本；
RHO-Loss：借助参考模型或验证集估计样本价值；
GREATS：进一步引入训练动态信息。
但这些方法仍有明显限制。
一方面，很多方法只看"这个样本难不难、有用没用"，却忽略了多样性。如果一个 batch 里都是相似样本，训练信号仍然会高度冗余。
另一方面，部分方法依赖外部验证集、参考模型，或者需要额外梯度计算，导致训练开销反而可能超过全量 SFT。
论文因此提出，一个理想的在线 batch 选择方法，至少要满足三点：
同时考虑数据效用、样本内部多样性、样本之间多样性；
不依赖外部资源，例如验证集或参考模型；
训练总时间要比全量 SFT 更低。
△在线 batch 选择方法能力对比：UDS 同时满足数据效用、样本内多样性、样本间多样性、无外部资源、训练时间降低五项要求核心方法：用 logits 同时判断"有用"和"多样"
UDS 的关键思想，是把模型前向传播时已经产生的logits用起来。
对于一个训练样本，LLM 在每个 token 位置都会输出一个词表维度的 logits 向量。把整段序列所有 token 的 logits 拼在一起，就得到一个 logits 矩阵。
这个矩阵里其实包含了很多信息：
模型对这个样本是否不确定？
这个样本是否能带来较大的 loss reduction？
序列内部的 token 预测是否丰富，还是高度重复？
这个样本和历史上已经训练过的样本是否过于相似？
UDS 将这些信息拆成两个分数。
第一个是intra-sample importance score，也就是样本内部重要性分数。它通过 logits 矩阵的nuclear norm（核范数）计算，用来同时刻画样本效用和样本内部多样性。
第二个是inter-sample importance score，也就是样本之间重要性分数。它通过低维投影后的样本表示，与历史 memory buffer 中样本的距离来计算，用来避免反复训练相似样本。
最后，UDS 把这两个分数加权合并，选出当前候选 batch 中分数最高的 Top-K 样本参与参数更新。
△UDS 框架示意图：模型先对候选样本做前向传播，得到 logits；再分别计算样本内部重要性和样本间多样性；最终选择高价值样本更新模型为什么 nuclear norm 能衡量样本价值？
UDS 的第一个核心设计，是用 logits 矩阵的 nuclear norm 衡量样本内部价值。
直观理解，nuclear norm 越大，通常意味着两件事。
第一，样本更可能带来训练收益。
如果模型对某个样本的预测分布呈现出更强的训练信号，它往往更可能带来 loss reduction。论文在 Qwen-2.5-7B + MMLU 上做了相关性分析，发现 nuclear norm 与训练后的 loss reduction 存在较强相关性。
第二，样本内部的信息更丰富。
如果一个样本的 token 预测高度重复，logits 矩阵的行向量会更接近同一方向，矩阵秩较低；如果每个 token 都包含不同语义信息，logits 矩阵会呈现更高秩、更丰富的谱结构，nuclear norm 也会更高。
也就是说，UDS 不是只看"这个样本难不难"，而是在看：
这个样本是否既有学习价值，又能提供足够丰富的 token 级训练信号。
△相关性分析与样本内多样性示意：nuclear norm 与 loss reduction、矩阵秩之间存在明显相关；高多样性序列会呈现更丰富的预测分布
论文还给出一个简化例子：左边序列中模型预测 cat、dog、bird 等不同 token，代表更高样本内多样性；右边序列几乎只预测 cat，代表低多样性。
△高样本内多样性与低样本内多样性的对比只看单个样本还不够，还要避免"重复训练"
如果只看 nuclear norm，模型可能会持续选择某些高价值但相似的样本。
这在训练中也会造成浪费：单个样本看起来有用，但一整批样本如果高度重复，整体 batch 的信息增益并不高。
为了解决这个问题，UDS 引入了样本之间的多样性建模。
具体做法是维护一个固定大小的 FIFO memory buffer，用来保存最近被选中参与训练的样本表示。对于当前候选样本，UDS 会计算它与 memory buffer 中历史样本的平均欧氏距离。距离越大，说明这个样本越不像最近已经训练过的数据，越值得加入训练。
但这里有一个现实问题：原始 logits 矩阵太大，直接保存代价非常高。
论文指出，如果在 Qwen-2.5-7B 中为 1024 个样本直接存储完整 logits 矩阵，内存可能达到约74GB。这显然不适合实际训练。
因此，UDS 设计了一个低维投影方法，把 logits 矩阵压缩成紧凑向量，再放进 memory buffer。论文采用类似 SRFT 的两侧随机投影，把词表维度和序列长度维度分别降维，从而避免显式存储巨大的投影矩阵。
这样一来，UDS 就能用很低的额外开销近似保留样本之间的距离关系，并据此衡量全局多样性。
最终，UDS 的选择标准可以理解为：
既选择当前最有训练价值的样本，也优先选择和历史训练样本不重复的样本。
实验设置：四类能力、两个基座、六组基线
论文主要在四个基准上评估 UDS：
MMLU：通用知识理解；
ScienceQA：科学问答；
GSM8K：数学推理；
HumanEval：代码生成。
实验使用两个基座模型：Llama-3.1-8B和Qwen-2.5-7B。
对比方法包括：
Regular：不做数据选择，全量使用样本；
Random：随机选择样本；
MaxLoss：选择 loss 最大的样本；
MaxGrad：选择梯度范数最大的样本；
RHO-Loss：依赖参考模型的选择方法；
GREATS：已有在线 batch 选择 SOTA 方法。
实现上，论文默认采用 LoRA 训练，rank 为 8；batch size 设为 8；memory buffer 大小 M=1024；投影维度设置为 d1=128、d2=8。所有基准采用 zero-shot 评估，并使用不同随机种子重复 4 次。
实验结果：准确率最高，训练还更快
主实验结果非常直接：UDS 在四个基准、两个基座模型上都取得了最优准确率。
在Qwen-2.5-7B上，UDS 的结果为：
MMLU：63.34%，高于 GREATS 的 58.19%；
ScienceQA：95.19%，高于 GREATS 的 94.17%；
GSM8K：79.91%，高于 GREATS 的 78.61%；
HumanEval：46.28%，高于 GREATS 的 45.04%。
在Llama-3.1-8B上，UDS 同样取得最高结果：
MMLU：40.16%；
ScienceQA：94.33%；
GSM8K：58.98%；
HumanEval：30.96%。
更关键的是，UDS 不只是更准，也更高效。
以 Qwen-2.5-7B 为例，在 MMLU 上，UDS 的训练吞吐量为3.41samples/s，高于全量训练的 2.27samples/s；在 HumanEval 上，UDS 为6.81samples/s，同样高于全量训练的 6.24samples/s。
这说明，UDS 并不是通过"多花时间换准确率"，而是在更少训练开销下，选出了更高质量的训练信号。
△主实验结果与消融实验截图：UDS 在 MMLU、ScienceQA、GSM8K、HumanEval 上均取得最优结果，同时多数设置下训练吞吐量高于全量训练消融实验：nuclear norm 和 diversity distance 都不是摆设
为了验证 UDS 的两个核心组件是否真的有用，论文做了消融实验。
结果显示，只使用 nuclear norm 或只使用 diversity distance，都能带来明显提升；但两者结合后的完整 UDS 表现最好。
以 Qwen-2.5-7B 为例：
在 MMLU 上，Random baseline 为 54.26%；只使用 nuclear norm 提升到 58.35%，只使用 diversity distance 提升到 57.75%，完整 UDS 进一步达到63.34%。
在 HumanEval 上，Random baseline 为 40.20%；只使用 nuclear norm 提升到 44.18%，只使用 diversity distance 提升到 43.84%，完整 UDS 达到46.28%。
这说明两种信号是互补的。
nuclear norm 更关注单个样本内部是否有训练价值，diversity distance 更关注当前样本是否与历史训练样本重复。只有把二者结合起来，才能同时实现"选得有用"和"选得不重复"。
超参数与数据规模：性能提升，但额外内存增长很小
论文还分析了投影维度 d1、d2 以及 memory buffer 大小 M 对性能和内存的影响。
结果显示，随着 d1、d2 和 M 增大，模型在 MMLU 上的平均准确率整体提升；但峰值内存只出现轻微增长。
这说明 UDS 的低维投影和 memory buffer 设计，并没有引入不可承受的额外内存负担。
在不同选择比例实验中，UDS 也展现出稳定优势。随着每个 batch 中被选中的样本数量 K 增加，多数方法准确率都会上升；但 UDS 在较小 K 下就能达到峰值，并且在部分设置中超过全量训练。
这意味着：
小而精的训练子集，只要选择策略足够好，也能超过"全都训练一遍"。
△投影维度、memory buffer 与数据选择规模实验截图：UDS 在提升性能的同时，仅带来很小额外内存增长更多实验：从 LoRA 到全参微调，从长链推理到 OOD
除了主实验，论文还在附录中补充了多组验证，进一步证明 UDS 的鲁棒性。
在更大 batch size（B=16）下，UDS 仍然在 Qwen-2.5-7B 上取得最高结果：MMLU 为62.71%，ScienceQA 为95.08%，GSM8K 为79.38%，HumanEval 为45.98%。
在全参数微调设置下，UDS 同样保持优势：MMLU 为63.27%，ScienceQA 为95.06%，GSM8K 为78.26%，HumanEval 为48.44%。
在 Qwen-2.5-7B-Instruct 上，UDS 也超过其他方法：MMLU 为53.86%，ScienceQA 为95.56%，GSM8K 为76.80%，HumanEval 为45.75%。
对于更长上下文推理，论文在 MATH 数据集上将最大序列长度设为 2048。UDS 取得46.27%，高于 Regular 的 45.89% 和 GREATS 的 45.66%。
在 OOD 测试中，模型在 GSM8K 上训练，并在 MATH500、AMC23 上评估。UDS 在 GSM8K、MATH500、AMC23 上分别达到79.91%、42.56%、26.38%，均为最佳。
论文还与离线数据选择方法 FisherSFT 做了比较。在相同数据选择比例下，UDS 在 MMLU、ScienceQA、GSM8K、HumanEval 上分别达到63.34%、95.19%、79.91%、46.28%，全面高于 FisherSFT 的 57.85%、94.02%、78.35%、43.87%。
这些结果共同说明，UDS 并不是只在某个单一设置下有效，而是能够泛化到不同 batch size、不同微调方式、指令模型、长推理任务和分布外测试中。
让 SFT 从"全量喂数据"走向"动态挑数据"
这项工作的核心价值，不只是提出了一个新的采样公式，而是重新强调了 SFT 中一个很现实的问题：
训练效率不只取决于模型和算力，也取决于每一步到底把哪些数据拿来更新参数。
过去，在线 batch 选择常常只关注样本难度或 loss。UDS 则把视角扩展到 utility 和 diversity 的联合建模：既看样本是否有用，也看样本是否重复。
更重要的是，它直接利用前向传播已有的 logits 信号，不需要额外验证集、参考模型，也避免了昂贵的样本级梯度计算。
从更长远看，UDS 代表了一类更实用的数据选择方向：让大模型训练不再只是"堆数据、堆算力"，而是让训练过程本身具备更强的数据判断能力。
对于 SFT 来说，这意味着我们有机会用更少的样本、更低的时间成本，获得更强的模型表现。
主要作者
邹鹤鸣，季向阳教授团队博士，研究范围覆盖大模型高效后训练、持续学习与脑启发智能，致力于提升多轮交互式智能体在 RL 后训练中的采样–反馈效率与决策信用分配，抑制自演进中的灾难性遗忘，并基于脑启发机制探索更省算力的前沿学习范式。在 ICML、NeurIPS、ICLR 等国际顶级会议以一作 / 共一发表多篇论文，工作贯穿算法创新与工程落地全栈优化，目前腾讯混元大模型团队科研实习生。
论文标题：Utility-Diversity Aware Online Batch Selection for LLM Supervised Fine-tuning
论文作者：Heming Zou、Yixiu Mao、Yun Qu、Cheems Wang、Xiangyang Ji
论文地址：https://arxiv.org/pdf/2510.16882
代码地址：https://github.com/gfyddha/UDS
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
【学术投稿】请在工作日发送邮件至：ai@qbitai.com，标题注明【投稿】，并告诉我们：你是谁，从哪来，投稿内容附上项目 / 主页链接，以及联系方式。
� � 我们会 ( 尽量 ) 及时回复你 : )
� � 点亮星标 � �
科技前沿进展每日见
美嘉配资提示：文章来自网络，不代表本站观点。
