训练数据工程：采集、清洗、去重、过滤、标注、合成和数据治理
摘要
本文把训练数据工程定义为模型能力边界和风险边界的塑形工程。采集、解析、清洗、去重、过滤、标注、合成、混合和治理不是训练之前的杂务，而是决定模型能学到什么、会错误记住什么、评测是否可信、数据是否可删除、结果能否复现的核心系统。文章从目标反推数据规格，强调来源许可、元数据、重复控制、质量过滤、偏好标注和闭环评测之间的连锁关系。核心观点是：数据工程做得越像可审计产品，模型训练越不依赖偶然运气。
关键词
训练数据；数据清洗；去重；数据过滤；标注；合成数据；数据治理；评测污染
研究问题与方法
本文研究的问题是：训练数据如何从无序原料转化为可复现、可审计、可退出的模型资产。方法上，文章按数据生命周期展开分析：先定义任务和不可接受行为，再审查来源和许可，随后处理解析、清洗、去重、过滤、标注和混合，最后通过评测与线上回流检验数据是否真的改善模型。每个阶段都关注两类指标：质量收益和风险外溢。
下面的图展示一条数据从来源进入训练集的审计路径。图中的每个节点都应该产生可回溯记录，否则训练后的模型行为就很难解释。
可以把有效训练数据规模近似写成：
这个公式说明，原始数据越大并不必然带来有效数据越大；许可不可用、解析失败、低质量和重复污染都会按乘法方式吞掉训练收益。
训练数据工程不是把资料塞进模型之前的杂务，而是决定模型边界、能力上限、风险形态和长期可维护性的核心工程。很多团队谈模型时容易把注意力放在参数规模、推理框架、上下文长度和显卡预算上，真正进入生产阶段以后才发现，模型回答是否稳定、是否懂业务、是否复读脏数据、是否记住不该记住的内容、是否在评测里虚高，往往不是推理参数能补救的问题，而是数据从采集第一天起就已经埋下的结果。
训练数据工程的完整链路通常包括采集、解析、清洗、去重、质量过滤、安全过滤、隐私处理、标注、偏好构造、合成扩增、混合配比、版本管理、数据审计和上线后回流。每一环都不是孤立动作。采集决定原料范围，清洗决定噪声下限，去重决定记忆风险和评测可信度，过滤决定价值密度，标注决定监督信号，合成决定覆盖面和错误传播风险，治理决定这些工作能否被复现、解释、追责和持续改进。
现代大模型的数据工程已经从“收集越多越好”转向“把可解释的数据资产持续经营好”。T5 的 C4 经验把网页语料清洗作为预训练效果的重要来源之一，The Pile 把多源语料混合推到开放研究视野，RefinedWeb 和 FineWeb 说明公开网页经过强清洗、去重和过滤后仍能形成高价值语料，Dolma 强调开源语料不仅要发布数据，还要发布构造原则、处理过程和中间分析，DataComp-LM 则把过滤、去重、混合和评测变成可比较的实验体系。这些进展共同指向同一件事：训练数据不是自然存在的矿石，而是经过工程判断塑形的产品。
引言：从目标反推数据，而不是从数据反推目标
训练数据工程第一步不是开爬虫，而是定义模型要服务的任务、用户、语气、知识边界和不可接受行为。通用助手、客服代理、代码补全、医学问答、金融研报、企业知识库问答和多轮工具调用，对数据的要求完全不同。通用助手需要广覆盖和稳健指令遵循，客服代理需要业务流程、产品政策和真实对话分布，代码模型需要仓库结构、依赖上下文和测试信号，医学模型则必须把来源可信度、时效性和禁用场景放在前面。
目标定义要落到可验收的数据规格。哪些语言和地区必须覆盖，哪些文档类型必须进入，哪些来源永远不能进入，哪些内容需要人工许可，哪些领域需要专家标注，哪些输出风格算成功，哪些安全事故不可容忍，都要在数据方案中写清楚。没有规格的数据池会快速变成无法解释的混合物，后续模型表现变差时也很难判断是数据过时、标注偏移、重复污染、领域配比失衡，还是评测集本身泄漏。
数据规格还要区分预训练、继续预训练、监督微调、偏好优化、检索增强和评测集。预训练语料追求广覆盖和语言建模质量，继续预训练强调领域分布和术语稳定性，监督微调需要高质量输入输出对，偏好优化需要可比较的候选回答和人类或模型偏好，检索增强需要可切分、可索引、可溯源的知识片段，评测集则需要隔离、代表性和抗污染。把这些数据混在一个目录里，是后续质量事故的常见起点。
采集：来源、许可、覆盖和更新节奏
采集阶段的核心问题不是“哪里数据多”，而是“哪些来源能合法、稳定、可解释地支撑目标能力”。常见来源包括公开网页、百科、论坛、书籍、论文、代码仓库、产品文档、客服记录、工单、搜索日志、人工撰写样例和专家知识库。不同来源的版权、隐私、噪声、偏见、重复率和更新节奏不同，不能用同一套规则处理。
公开网页适合构建语言和常识覆盖，但网页内容有模板噪声、广告、导航、版权声明、机器翻译、低质聚合、采集陷阱和重复转载。Common Crawl 这类大规模来源给了开放语料的基础，但真正可用的文本需要经过语言识别、正文抽取、URL 过滤、质量打分、近重复检测和安全处理。C4、RefinedWeb、FineWeb、Dolma 和 DataComp-LM 都把网页采集后的数据整形看成主战场，而不是把原始网页当成训练成品。
企业内部数据常常价值最高，也最容易出事故。客服对话、销售记录、合同文本、日志备注和用户上传文件包含真实业务语境，但也可能包含个人信息、商业秘密、账号凭据、未公开合同、员工隐私和客户敏感陈述。内部数据进入训练前必须先做数据分级、用途授权、脱敏策略、保留期限和访问控制。生产级团队不能用“反正只在内部用”来跳过治理，因为模型一旦学习了不该学习的信息，事后删除和证明删除都很困难。
代码数据有额外复杂性。许可证兼容性、仓库生成文件、依赖锁文件、压缩产物、复制粘贴片段、自动生成代码、测试夹具、密钥泄漏和恶意样例都会影响模型质量和合规风险。面向代码模型时，采集不只是按后缀抓文件，还要理解仓库结构、语言生态、构建脚本、测试目录、README 与源码的关系，以及许可证如何传递到派生训练产物。
采集要保留来源元数据。至少应记录原始 URL 或文档位置、抓取时间、来源类型、语言、许可证、采集批次、解析器版本、清洗规则版本、内容哈希和后续处理状态。没有元数据，数据就不能回溯；不能回溯，就无法解释模型为什么学会某种表达，也无法在来源撤回、许可证变化、用户删除请求或质量事故发生时定位影响范围。
更新节奏同样重要。新闻、法律、金融、产品政策和技术文档变化很快，百科、教材和基础理论变化较慢。把所有数据按同一频率刷新，会造成资源浪费和质量抖动。更稳妥的做法是为来源配置更新等级：高频源进入增量采集和快速评测，低频源进入周期性校验，敏感源进入人工审批，废弃源进入冻结或下线流程。
解析：把文件变成可训练文本
采集来的原始对象可能是 HTML、PDF、Word、PPT、Markdown、代码仓库、JSON、日志、数据库记录、图片 OCR 和音视频转写。解析阶段决定模型看到的是正文还是杂质。一个网页如果保留导航、推荐列表、版权页脚和评论垃圾，模型会学习到大量无意义模式；一个 PDF 如果段落顺序错乱、表格拆碎、页眉反复出现，后续清洗再强也很难恢复原意。
HTML 解析要区分正文、标题、作者、时间、引用、代码块、表格、列表、图片说明和页面模板。仅用可见文本拼接通常不够，因为许多网页正文被脚本渲染，或者有大量结构性噪声。更可靠的方式是使用正文抽取器、DOM 规则、站点级模板识别和抽样人工校验组合起来。对重要来源，站点级解析规则比通用解析器更值得投入。
PDF 和办公文档要处理版面问题。页眉页脚、双栏排版、脚注、公式、表格跨页、扫描件 OCR、目录页和参考文献都会影响文本顺序。对领域训练来说，表格和公式往往是高价值内容，不能粗暴丢弃。解析结果最好保留结构标签，让后续切分、检索和训练能区分标题、正文、表格、代码和引用。
对话数据解析要重建角色和轮次。客服、销售、教育、诊疗和工具调用记录必须保留谁说了什么、在什么上下文下说、是否有外部工具结果、最终是否解决问题。把多轮对话压成一段纯文本会损失指令关系，也会让模型混淆用户问题、系统约束和助手回答。训练对话模型时，角色边界就是数据质量的一部分。
清洗：去掉噪声，同时保留有用差异
清洗不是把文本变得“干净好看”，而是去掉会破坏训练目标的噪声。常见清洗包括编码修复、异常字符处理、HTML 残留移除、重复页眉页脚去除、短文本过滤、乱码检测、语言识别、机器翻译痕迹识别、模板文本清理、低信息密度内容剔除和段落边界修复。
清洗最容易犯的错误是过度规则化。比如把所有列表、表格、代码缩进和特殊符号都删掉，会让技术文档、法律条款、配置说明和操作步骤失真。训练数据工程的目标不是生产一份文学散文，而是保留真实任务所需结构。对代码、数学、法律、医学和金融文本，标点、编号、引用和单位常常是语义本身的一部分。
语言识别要在文档级、段落级和片段级结合使用。网页常包含多语言导航、翻译按钮、广告和引用，整页语言判断可能误伤混合内容。面向中文模型时，除了识别中文，还要区分简体、繁体、夹杂英文术语、拼音、日文汉字和机器翻译中文。低质量机器翻译会把表达模式带偏，尤其影响模型写作自然度。
质量清洗要有抽样审计。规则命中率高不代表规则正确，删除量大也不代表效果好。每个关键清洗规则都应该保留样本：被删除的好内容、被保留的坏内容、边界样例和来源分布。生产数据管线需要定期回看这些样本，否则规则会在长期迭代中变成无人理解的历史包袱。
清洗结果要分层保存。原始数据、解析文本、清洗文本、过滤结果、训练切片和最终样本不要互相覆盖。分层保存看似占空间，却能换来可回溯和可复算。模型事故排查时，最常见的问题不是没人知道“用了哪些数据”，而是没人能重建某条样本从原始来源到训练输入经历了什么。
重：控制记忆、降低污染、提升有效训练
去重是训练数据工程中最容易被低估的一环。Lee 等人的《Deduplicating Training Data Makes Language Models Better》指出，语言模型数据集中存在大量近重复样本和长重复片段，去重可以显著降低模型逐字记忆训练文本的频率，并减少训练测试重叠对评测的污染。这不是小修小补，而是直接关系模型泛化和隐私风险的基础工程。
重复分为多种层次。完全重复是字节或规范化文本相同，近重复是同一篇文章被转载、改标题、改少量词，模板重复是网页结构或广告语反复出现，片段重复是长句、版权声明、免责声明、菜单、代码许可证或日志模板在大量文档中出现，语义重复是不同表达覆盖同一信息。不同重复需要不同算法和处理策略。
完全重复可以用规范化哈希解决。先做大小写、空白、标点、Unicode 和模板清理，再计算文档哈希或段落哈希。近重复通常使用 MinHash、SimHash、局部敏感哈希、n-gram 指纹或向量聚类。长重复片段需要跨文档检测，避免某个句子在数万次出现后被模型背下来。语义重复则更适合在高价值小数据中处理，因为大规模语义去重成本高，且可能误删必要的表达多样性。
去重不是越狠越好。新闻报道、法规文本、API 文档、代码模板和教育题解存在合理重复。完全删除可能损害模型对规范表达的学习。更精细的做法是按来源可信度、内容类型和训练目标选择保留策略：权威原文优先于转载，完整文档优先于碎片聚合，高质量标注样本优先于弱标注样本，评测集相关内容必须从训练集隔离。
评测污染要单独处理。训练集和评测集之间的重叠会让指标虚高，尤其在公开基准、热门题库、竞赛数据和教程样例中很常见。生产团队应该为评测集建立专门的污染检测：按题面、答案、关键词、n-gram、嵌入相似度和来源时间做多层检查。对关键评测，还要记录构造时间早于训练截止时间还是晚于训练截止时间，避免模型“记住答案”被误判为能力提升。
过滤：质量、安全、领域和价值密度
过滤阶段决定哪些样本值得进入训练预算。算力昂贵时，低质数据不是中性填充，而是会消耗训练步数、放大噪声、拖慢收敛并污染模型行为。DataComp-LM 的实验强调模型化过滤对高质量训练集构造很关键，这说明过滤已经从简单规则进入可评测、可比较、可优化的工程范畴。
基础质量过滤包括长度、语言、可读性、字符分布、重复比例、困惑度、词汇多样性、链接密度、代码比例、乱码比例和模板比例。对网页语料，常见坏样本包括关键词堆砌、采集站、SEO 聚合、自动改写、成人广告、博彩页面、恶意下载页和无正文页面。对企业语料，坏样本可能是空工单、模板回复、内部口头缩写、无结论会议纪要和被截断的日志。
安全过滤要覆盖仇恨、骚扰、自残、性内容、暴力、违法行为、危险化学、生物安全、武器、网络攻击、个人隐私、未成年人敏感内容和受保护材料。安全过滤不等于一删了之。有些安全领域需要模型理解并拒绝，有些需要用于分类器或安全微调，有些必须禁止进入生成式训练。关键在于给数据指定用途，而不是只给内容贴标签。
领域过滤要根据目标能力设定。做法律助手时，司法解释、案例、法规和合同范本价值高，营销软文价值低；做程序员助手时，官方文档、真实项目、Issue、测试和代码审查价值高，随机代码片段价值低；做企业客服时，真实问题、解决过程和政策变更价值高，宣传稿价值有限。过滤器要能表达这种价值判断。
模型化过滤需要防止自我偏见。用已有模型判断数据质量很高效，但已有模型的偏好会被带入新模型。它可能偏爱流畅通用文本，低估方言、少数领域、长尾问题和非标准表达；也可能把复杂但真实的业务问题误判为低质。生产做法应把模型评分、规则特征、来源信誉、人工抽样和下游评测结合起来，不让单一过滤器决定数据命运。
过滤阈值要通过实验确定。不能因为某个论文用了某个阈值，就直接复制到自己的业务语料。阈值变化会改变来源分布、领域覆盖、语言比例和样本难度。每次调整都应输出数据报告：保留量、删除量、来源变化、主题变化、人工抽样质量、训练小模型表现和评测影响。过滤器本身应像模型一样被版本化。
标注：把业务判断变成可学习信号
标注是监督微调、偏好优化和评测构造的核心。高质量标注不是给外包团队一份表格就结束，而是把任务定义、边界样例、判定标准、冲突处理和质量审计变成可执行流程。没有标注规范，标注员会用个人经验补空白；不同人补出的空白不一致，模型学到的就是摇摆不定的行为。
标注任务要尽量拆清楚。一个客服样本可能同时包含意图识别、情绪判断、问题归因、解决步骤、政策引用和回复话术。如果要求标注员一次性给出“好回答”，难度高且一致性差。更好的做法是把关键字段结构化：用户目标是什么，必须询问哪些信息，能否直接解决，需要调用什么工具，不能承诺什么，最终回复应该覆盖哪些要点。
标注指南要包含正例、反例和灰区。只给正例会让标注员误以为所有情况都容易判断。真实生产数据里充满灰区：用户信息不完整、政策冲突、上下文缺失、旧政策和新政策并存、用户要求越权、问题跨部门、回答需要拒绝但又要给替代方案。灰区处理方式决定模型上线后的稳定性。
质量控制不能只看一致率。一致率高可能是任务太简单，也可能是标注员互相模仿，还可能是标签体系过粗。生产标注应结合黄金样本、交叉标注、专家复审、争议样本会议、标注耗时、错误类型统计和下游模型效果。对于高风险领域，还要记录每条关键样本的审核人、审核时间和审核理由。
偏好标注需要特别小心。让人比较两个回答时，标注员容易偏好更长、更自信、更礼貌的回答，却忽略事实性、可执行性和合规性。偏好标准必须拆成维度：正确性、完整性、引用依据、边界意识、语气、拒绝质量、工具使用、是否臆测。只有这样，偏好优化才不会把模型推向“看起来好”的方向。
合成数据：补覆盖，而不是替代真实世界
合成数据可以用来扩展长尾问题、构造多轮对话、生成风格变体、补齐结构化样例、制造安全拒绝场景、形成评测边界和模拟工具调用。它的价值在于把稀缺场景放大，把专家规则转成样例，把难以收集的边界条件显性化。对生产团队来说，合成数据往往是让模型覆盖复杂业务流程的最快办法之一。
合成数据最大风险是错误自我放大。《The Curse of Recursion》讨论了模型在生成数据上递归训练会遗忘真实分布的问题，后续关于模型崩塌的研究也提醒，合成数据如果脱离真实来源、没有质量控制、没有新信息注入，会让模型越来越像自己的影子。合成数据不是免费知识，它只是对已有知识和指令的重组。
高质量合成需要真实种子。可以从真实工单、真实文档、真实失败案例和专家知识点出发，让模型生成等价问法、边界场景、反事实干扰和多轮追问。每条合成样本最好保留种子来源、生成提示、生成模型、审核状态和用途标签。这样即使合成样本出错，也能定位是哪类种子或生成策略有问题。
合成样本要经过独立验证。生成者和审核者最好不是同一个模型或同一套提示。对于事实型样本，要回查知识源；对于代码样本，要运行测试；对于数学样本，要校验推导；对于安全样本，要检查拒绝边界；对于客服样本，要让业务专家看是否符合政策。未经验证的合成数据进入训练，会把模型的幻觉包装成监督信号。
合成数据还要控制比例。真实数据提供分布锚点，合成数据提供覆盖扩展。比例过高会让表达模式单调，用户问题变得过于标准，回答显得模板化。训练集报告中应明确真实样本、人工标注样本、模型合成样本、规则生成样本和回流样本各占多少，并按任务类型观察效果。
数据混合：配比本身就是模型设计
训练集不是所有合格样本的简单相加。不同来源、语言、领域、难度和任务类型的配比，会直接改变模型能力。通用知识过多会稀释业务能力，业务流程过多会损害开放问答，代码过多会影响自然语言风格，安全拒绝样本过多会让模型过度保守，短问答过多会削弱长文推理和多轮能力。
数据混合要有目标曲线。每个训练阶段应说明为什么使用这个配比：预训练阶段强调语言覆盖和知识广度，继续预训练阶段提高领域术语和文档风格，监督微调阶段塑造任务格式和对话行为，偏好阶段校准质量排序，安全阶段补拒绝和边界。不同阶段不应共用一个“万能数据集”。
配比调整要通过消融实验。可以训练小模型或做短程训练，比较不同数据混合对核心评测、长尾评测、安全评测和人工盲测的影响。数据工程不能只靠直觉，尤其在多个团队都认为自己的数据最重要时，实验结果是协调资源的共同语言。
难度分布也要设计。只有简单样本，模型会形成浅层模式；只有复杂样本，模型可能学习不稳。真实生产流量通常包含大量简单问题、少量复杂问题和极少数高风险问题。训练集既要反映频率，也要保证关键风险场景有足够权重。某些低频场景虽然流量少，但事故成本高，应该在训练和评测中被放大。
数据治理：让数据资产可复现、可审计、可退出
数据治理不是合规部门附加的表格，而是生产级模型能持续迭代的基础设施。NIST AI 风险管理框架强调治理、映射、测量和管理风险。放到训练数据工程里，就是要知道数据从哪里来、为什么能用、被谁处理、进入了哪个版本、造成了什么效果、出现问题时如何下线。
最小可行的数据治理对象包括数据集卡、来源清单、许可证记录、隐私评估、处理管线版本、质量报告、过滤报告、标注规范、评测关联、发布记录和删除请求处理记录。数据集卡不应该只写样本数量，还应写覆盖范围、已知偏差、排除内容、适用任务、不适用任务和更新计划。
版本管理要覆盖数据和处理代码。只保存最终训练文件不够，因为处理代码变化会改变同一原始数据的样本结果。每次数据发布应记录原始快照、解析器版本、清洗规则、去重参数、过滤模型、标注指南、合成提示、混合配比和校验报告。模型训练记录再关联到数据版本，才能形成完整谱系。
访问控制要按数据敏感等级设计。公开网页、授权文档、内部普通文档、客户敏感数据、个人信息和高风险安全样本不应放在同一权限域。训练团队、标注团队、评测团队和业务专家看到的数据范围也不一定相同。越是高价值数据，越需要最小权限、操作日志和导出限制。
退出机制必须提前设计。来源撤回、用户删除请求、许可证变化、政策变化、错误标注、隐私泄漏和安全事故都可能要求移除数据。生产系统需要能定位受影响样本、下线后续数据版本、评估已训练模型影响，并决定是否重训、微调修正、输出屏蔽或发布说明。没有退出机制的数据管线，只是在积累未来债务。
评测和数据闭环
训练数据工程的效果必须通过评测闭环体现。一个过滤器是否有效，不看删除了多少垃圾，而看模型是否在目标任务上更好；一个标注规范是否清晰，不看文档写得多长，而看不同标注员是否能稳定给出同类判断；一个合成数据方案是否有价值，不看生成了多少条，而看长尾场景是否覆盖、错误是否减少、安全边界是否更稳。
评测集要像训练数据一样治理。它需要来源说明、构造时间、污染检测、难度分层、领域覆盖、更新策略和冻结版本。生产评测最好分为开发集、回归集、隐藏集和线上抽样集。开发集用于快速迭代，回归集用于防退化，隐藏集用于避免过拟合，线上抽样集用于发现真实分布变化。
线上回流要经过筛选，不能把所有用户对话直接喂回训练。线上数据包含满意反馈、失败案例、攻击样本、隐私内容、错误工具结果和用户误解。回流流程应先做脱敏和授权检查，再按任务类型聚类，挑出有代表性的失败样本，经过人工或模型辅助标注后进入训练或评测。真正有价值的不是流量本身，而是从流量中提炼出的可学习信号。
数据闭环还要识别分布漂移。产品更新、政策变化、季节事件、热点新闻、竞争对手变化和用户群变化都会让旧数据失效。对客服和企业知识应用来说，最常见的模型退化不是模型变笨，而是数据过期。提示词和检索能缓解一部分，但训练数据、评测集和知识库都需要更新节奏。
常见失败模式
第一种失败是“数据越多越安心”。未经处理的大规模数据会带来重复、噪声、偏见和合规风险。规模能提升覆盖，但质量决定规模是否被有效利用。数据量增长如果没有伴随质量报告和评测提升，只是在增加训练成本。
第二种失败是“清洗规则无人负责”。项目早期为了赶进度写下的删除规则，半年后没人知道为什么存在，却继续影响新数据。每条高影响规则都应有目的、负责人、样例和版本记录。不能解释的规则不适合长期留在生产管线里。
第三种失败是“评测集被训练集吃掉”。公开题库、教程样例、热门 benchmark 和业务历史答案都可能进入训练。指标变高并不代表能力变强，可能只是泄漏。训练前后都要做污染检查，尤其对关键发布版本。
第四种失败是“标注只看数量”。十万条不一致标注可能不如一万条高一致、有边界、有复审的样本。标注预算应该优先花在任务定义、标注指南、争议处理和质检闭环上，而不是只追求条数。
第五种失败是“合成数据无人验收”。模型生成的问题和答案看起来流畅，却可能事实错误、政策过期、边界混乱。合成数据必须有真实来源、验证规则和抽样审核，否则会把幻觉规模化。
第六种失败是“没有删除路径”。数据进入训练后似乎不可逆，于是团队干脆不记录来源。正确做法相反：越难删除，越要在进入前记录清楚，确保出现问题时知道影响范围，并能采取重训、屏蔽、补偿训练或版本冻结等措施。
套可执行的数据工程流程
生产团队可以把训练数据工程拆成九个门禁。第一道门是来源准入，检查来源价值、授权、隐私、更新频率和风险等级。第二道门是解析验收，检查正文抽取、结构保留和失败率。第三道门是基础清洗，处理乱码、模板、语言和格式。第四道门是去重，分别做文档级、段落级、片段级和评测污染检测。
第五道门是质量过滤，结合规则、模型评分和人工抽样。第六道门是安全和隐私处理，按用途决定删除、脱敏、隔离或专用训练。第七道门是标注和合成，输出可学习的监督信号并保留审核记录。第八道门是混合和版本发布，记录配比、样本量、来源分布和处理参数。第九道门是训练后评测，把模型表现反向写入数据问题清单。
每道门都要有产物。来源准入有来源表，解析验收有失败样本，清洗有规则报告，去重有重复簇，过滤有保留删除对比，隐私处理有脱敏报告，标注有一致性指标，混合有数据卡，评测有错误簇。没有产物，就没有工程管理，只有一次性处理。
这套流程不是为了让数据团队变慢，而是为了让迭代变快。没有治理的团队每次模型变差都要重新猜原因；有治理的团队可以定位到某个来源、某条规则、某个标注批次或某个配比变化。生产级速度来自可复现，而不是来自跳过记录。
面向中文和多语言模型的特殊问题
中文训练数据有自己的难点。公开中文网页中转载、采集站、广告页、伪原创、机器翻译、繁简混杂、编码异常和低质问答比例不低。中文分词不是训练大模型的唯一问题，但文本边界、标点、语气词、口语缩写和数字单位会影响样本质量。清洗时不能简单套英文规则，比如英文停用词、ASCII 比例和句长阈值都可能误伤中文好内容。
中文业务数据还常包含中英夹杂。技术支持、跨境电商、金融研报和代码问答会自然混用英文术语、产品名、接口名和缩写。把英文全部删除会破坏语义，把中英混杂全部判为低质也会损害真实场景覆盖。更合理的做法是按领域识别术语和噪声，保留任务必要的混合表达。
多语言数据混合要避免强势语言压制弱势语言。英文高质量资料多，容易在混合中占据过高比例，让中文模型的表达和事实组织变得“翻译腔”。如果目标是中文最终用户，中文指令、中文长文、中文对话、中文拒绝和中文业务文档必须有足够权重。多语言能力不是把英文数据倒进来后自动获得的，而是需要配比和评测共同约束。
训练数据工程的组织分工
成熟团队不会把训练数据工程交给单一角色。数据工程师负责采集、解析、管线和版本；机器学习工程师负责过滤实验、混合训练和评测联动；领域专家负责来源判断和标注标准；安全与法务负责许可、隐私和高风险内容；产品负责人定义用户场景和成功标准；运维和平台团队负责权限、审计和存储成本。
分工清楚后，还需要共同语言。数据团队说“保留率下降”，模型团队要知道这会改变训练分布；安全团队说“这类数据隔离”，产品团队要知道覆盖会受影响；业务专家说“这个回答不能承诺”，标注规范要能落到样本；评测团队发现某类失败，数据团队要能回查训练集中是否有足够正确信号。
数据评审会应围绕证据，而不是围绕偏好。一次数据版本发布前，最好回答这些问题：新增来源是什么，删除来源是什么，质量指标怎么变，重复率怎么变，隐私风险怎么处理，标注一致性如何，合成数据占比多少，小模型实验结果怎样，核心评测是否提升，安全评测是否退化，是否有回滚方案。
未来趋势：数据产品化和可验证智能
训练数据工程正在从离线批处理走向数据产品化。数据集不再只是训练脚本读取的文件，而是带有版本、权限、质量指标、评测关联、来源证明和生命周期的资产。模型越强，越需要知道它学到了什么、不该学什么、哪些能力来自哪些数据。没有数据谱系的强模型，在生产环境里很难被信任。
另一个趋势是数据和评测融合。未来的过滤器不会只判断文本好坏，而会预测样本对目标评测、用户满意度和安全边界的贡献。数据选择会更像实验科学：提出假设，构造数据，训练小模型，观察误差，调整配比，再进入大规模训练。DataComp-LM 这类基准的价值就在于把数据策展从经验手艺推进到可比较实验。
合成数据也会更强调可验证。真正有价值的合成不是凭空生成海量问答，而是围绕真实知识源、工具环境、执行结果和专家标准构造可检查样本。代码合成要能跑测试，数学合成要能验算，工具调用合成要能回放，客服合成要能对照政策，安全合成要能说明边界。可验证性会成为合成数据能否进入训练主集的门槛。
训练数据工程最终服务的是一个朴素目标：让模型在真实用户面前可靠工作。可靠不是没有错误，而是错误可发现、原因可追溯、修复可执行、风险可控制。采集、清洗、去重、过滤、标注、合成和治理这些环节加在一起，构成了模型能力背后的基础设施。谁把数据当资产经营，谁就更接近生产级智能。
数据质量报表应该写给谁看
数据质量报表不应该只写给训练脚本，也不应该只写给合规审计。它要同时让模型团队、产品团队、领域专家和风险负责人看懂这批数据发生了什么。好的报表先回答业务问题：这次新增了哪些能力相关来源，删掉了哪些来源，中文、英文和其他语言比例如何变化，核心领域样本是否增加，低质来源是否被压住，敏感内容是否进入隔离区，评测污染是否下降。
报表里的指标要分成三层。第一层是规模和分布，包括样本数、字符数、token 数、来源数量、语言比例、领域比例、文档类型和时间跨度。第二层是质量和风险，包括重复率、近重复簇数量、乱码率、短文本比例、低信息密度比例、隐私命中、版权风险、毒性命中和安全类别分布。第三层是效果关联，包括小模型预实验、核心任务评测、人工抽样通过率、线上失败覆盖情况和与上一个数据版本的差异。
最有价值的报表不是漂亮图表，而是可行动结论。比如“本次新增五万条客服对话”价值有限，“新增样本主要来自旧退款流程，和当前政策不一致，需要在训练前剔除或重新标注”才有意义。数据报表要指出下一步动作：继续保留、降权、隔离、补标、重采、暂停使用或进入人工复审。没有动作建议的指标，很容易变成无人负责的背景噪声。
抽样样本应随报表一起交付。每个高影响规则都要展示被删除样本和被保留样本，每个高风险来源都要展示风险命中样本，每个标注批次都要展示争议样本。数据质量不是只看汇总数字，必须能下钻到具体文本。模型事故常常来自少量极端样本，只有汇总统计会把这些样本淹没。
隐私、版权和可删除性
隐私处理要早于训练文件生成。姓名、手机号、邮箱、证件号、地址、账号、订单号、支付信息、病历、合同编号和访问令牌都可能出现在真实数据里。脱敏不能只靠正则，因为自然语言里有大量变体表达，也不能把脱敏做成破坏语义的替换。对客服、医疗、金融和企业知识数据，常见做法是保留任务必要的类别信息，移除可识别个人或组织的具体值，并记录脱敏策略版本。
版权治理同样要前置。公开可访问不代表可用于训练，能阅读不代表能再分发，能引用不代表能进入商业模型。来源许可、网站条款、作者授权、数据集许可证和企业内部使用范围都要进入来源准入。对无法确认权利边界的数据，生产团队应该降低权重、隔离使用或不进入主训练集，而不是等模型发布后再解释。
可删除性是数据治理的底线。任何进入训练候选集的样本都应该能追溯到来源和处理批次。用户要求删除、来源撤回、授权过期或发现敏感泄漏时，团队至少要能回答这条数据是否进入过训练、进入了哪个版本、是否进入评测、是否进入合成种子、影响了哪些模型。即使大模型参数无法按单条样本精确删除，工程上也必须能冻结后续版本、重训受影响模型、调整检索库、屏蔽输出风险，并向业务方说明处置范围。
隐私和版权不是阻碍数据工程的外部限制，而是数据能否长期使用的基础条件。没有这些记录，数据规模越大，未来不可控风险越大。真正生产级的数据工程，会把可用性、合法性、可追溯性和可退出性一起设计，而不是只追求一次训练跑通。
参考资料
- Colin Raffel 等，《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》，arXiv: https://arxiv.org/abs/1910.10683
- Katherine Lee 等，《Deduplicating Training Data Makes Language Models Better》，arXiv: https://arxiv.org/abs/2107.06499
- Leo Gao 等，《The Pile: An 800GB Dataset of Diverse Text for Language Modeling》，arXiv: https://arxiv.org/abs/2101.00027
- Guilherme Penedo 等，《The RefinedWeb Dataset for Falcon LLM》，arXiv: https://arxiv.org/abs/2306.01116
- Luca Soldaini 等，《Dolma: an Open Corpus of Three Trillion Tokens for Language Model Pretraining Research》，arXiv: https://arxiv.org/abs/2402.00159
- Jeffrey Li 等，《DataComp-LM: In search of the next generation of training sets for language models》，arXiv: https://arxiv.org/abs/2406.11794
- Hugging Face，FineWeb 数据集卡： https://huggingface.co/datasets/HuggingFaceFW/fineweb
- Hugging Face Datasets，Process 文档： https://huggingface.co/docs/datasets/process
- NIST，AI Risk Management Framework： https://www.nist.gov/itl/ai-risk-management-framework
- Ilia Shumailov 等，《The Curse of Recursion: Training on Generated Data Makes Models Forget》，arXiv: https://arxiv.org/abs/2305.17493
- Data Provenance Initiative： https://www.dataprovenance.org/