高质量数据集 建设指南 （TC609-5-2025-01）文件解读 全国数据标准化技术委员会20250826发布实施
·
单位建设高质量数据集，想到其他公司也会用到，在此共享（公开文件）。
《高质量数据集 建设指南》（TC609-5-2025-01）是由全国数据标准化技术委员会发布的技术文件，旨在为高质量数据集的建设提供全生命周期的指导，推动我国人工智能数据基础设施的规范化发展。
一、文件定位与背景
-
定位：作为配套《高质量数据集 质量评测规范》的建设指南，侧重于“如何建”，而非“如何评”。
-
背景：人工智能发展依赖于高质量数据，但目前国内在数据集的“如何建设”和“建设方法论”方面仍存在缺失，导致数据供给质量参差不齐。
二、核心内容：高质量数据集建设六阶段
文件提出了一个全生命周期建设模型，共包括六个阶段，强调迭代优化与反馈机制。
各阶段主要内容：
| 阶段 | 核心任务 | 关键输出/活动 |
|---|---|---|
| 1. 数据需求 | 明确AI应用对数据的具体要求 | 数据范围、内容特性、可用性评估、质量模型构建 |
| 2. 数据规划 | 设计数据架构与实施计划 | 数据架构设计、阶段计划制定、工作量预估 |
| 3. 数据采集 | 收集实时/历史数据 | 采集方式选择（获取/生成/收集）、方法测试、质量控制 |
| 4. 数据预处理 | 将原始数据处理为可用格式 | 转换、验证、清洗、聚合、抽样、特征工程等 |
| 5. 数据标注（可选） | 为有监督学习提供标签 | 规程制定、资源准备、过程监测与质量管理 |
| 6. 模型验证 | 验证数据集是否满足模型训练需求 | 模型训练与评估、问题溯源、反馈与迭代 |
三、文件特点
-
全周期覆盖：从需求到验证，完整覆盖数据集建设各环节。
-
实操导向：各阶段列出具体任务与可选流程，具备强指导性。
-
灵活可选：数据标注为可选阶段，适应有监督与无监督学习场景。
-
质量贯穿：强调在各阶段进行数据质量控制与验证。
-
迭代反馈：模型验证阶段发现的问题可反馈至上游阶段进行优化。
四、标准发布的重要意义
1. 填补方法论空白
-
国内首次系统提出高质量数据集的建设方法论，解决“不知道怎么建”的痛点。
2. 推动数据建设规范化
-
提供标准化流程，帮助各行业统一建设标准，提升数据集的可复用性与互操作性。
3. 支持AI产业发展
-
高质量数据是AI模型的“燃料”，规范建设有利于提升模型性能、减少训练成本、加快应用落地。
4. 促进数据生态建设
-
为数据采集、标注、清洗、标注等环节的供应商和服务商提供参考依据，推动数据产业链的成熟。
5. 提升数据治理能力
-
引导企业在数据建设早期就融入质量意识和治理机制，从源头保障数据可信、可用。
6. 赋能实体经济与行业转型
-
为工业、金融、医疗、交通等传统行业提供高质量数据建设指南，助力其智能化升级。
五、适用对象
-
企业、政府、科研机构等数据集建设方
-
数据工程师、AI研发团队、数据治理专家
-
数据服务商、标注平台、数据管理工具提供方
-
标准化组织、评测机构、政策制定者
六、总结
《高质量数据集 建设指南》是一份具有实践指导价值的技术文件，它不仅明确了高质量数据集建设的六个关键阶段，更体现了“质量贯穿、迭代优化”的建设理念。它的发布标志着我国在人工智能数据基础设施建设方面迈出了标准化、系统化的重要一步，对于提升数据供给质量、促进AI技术落地、推动数字经济发展具有深远意义。
目 次
前言 ................................................................................. II
引言 ................................................................................ III
1 范围 ................................................................................ 1
2 规范性引用文件 ...................................................................... 1
3 术语和定义 .......................................................................... 1
4 建设方法 ............................................................................ 2
5 数据需求 ............................................................................ 2
6 数据规划 ............................................................................ 3
7 数据采集 ............................................................................ 3
8 数据预处理 .......................................................................... 3
9 数据标注 ............................................................................ 3
10 模型验证 ........................................................................... 4
参考文献 .............................................................................. 5
引 言
当前，随着新一代信息技术持续快速发展，人工智能正加速融入各行业领域，赋能实体经济高质量 发展。高质量数据集是开发和训练人工智能模型的重要支撑，能够提高模型精度与可解释性、减少训练 时长，已经成为人工智能发展的核心要素。目前，在我国高质量数据集建设推进过程中，仍存在数据集 “如何建设”不明确、“建设方法论”缺失的问题。制定高质量数据集建设指南，为数据集建设全生命 周期，包括数据需求、数据规划、数据采集、数据预处理、数据标注、模型验证等阶段，提供指导和建 议，对于提升数据集优质供给，有力支持人工智能模型开发和训练，更好赋能经济社会发展至关重要。
高质量数据集 建设指南
1 范围
本文件提供了高质量数据集建设全生命周期的指导和建议，包括数据需求、数据规划、数据采集、 数据预处理、数据标注、模型验证等阶段。
本文件适用于高质量数据集的规划、建设和维护工作。
2 规范性引用文件
本文件没有规范性引用文件。
3 术语和定义
下列术语和定义适用于本文件。
高质量数据集 high-quality dataset
经过采集、加工等数据处理，可直接用于开发和训练人工智能模型，能有效提升模型性能的数据的 集合。
数据质量 data quality
在指定条件下使用时，数据的特性满足明确的和隐含的要求的程度。 [来源：GB/T 25000.24-2017，4.11]
数据质量模型 data quality model
已定义的特性集合，提供一个框架用于说明数据质量需求和评价数据质量。 [来源：GB/T 25000.24-2017，4.14]
数据标注 data labeling
给数据样本指定目标变量和赋值的过程。 [来源：GB/T 42755-2023，3.1]
数据架构 data architecture
对企业业务主要数据类型和来源、逻辑数据资产、物理数据资产和数据管理资源结构和交互的描述。 [来源：ISO TR 21965:2019,3.2.6]
有监督机器学习 supervised machine learning
仅用标注数据进行训练的机器学习。 [来源：GB/T 41867-2022，3.2.37]2
4 建设方法
高质量数据集建设应按照生命周期有序展开，包括数据需求、数据规划、数据采集、数据预处理、 数据标注、模型验证等阶段。各阶段主要按以上顺序逐步开展，同时会对其他阶段进行反馈，或者会在 其他阶段反馈下进行迭代优化。
高质量数据集建设方法如图1所示：
5 数据需求
数据需求阶段主要是确定人工智能应用对数据的需求，即根据预期人工智能用途明确数据集在数
据范围、内容、可用、质量等方面的需求。该阶段包括但不限于：
a) 确定数据集所需数据范围、内容等，即根据预期人工智能应用，明确具体需要哪些数据，包括 数据格式、统计特性和可分性（即训练、验证、测试数据等子集的有效划分说明，包括每个子3
集的相关统计特性、代表性、合适规模大小等）等；
b) 检查数据集所需要数据的可使用性，即确认用于特定人工智能应用的数据是否可获取并使用；
c) 构建数据集所需要的数据质量模型，即实例化一个具有相关数据质量特性（例如，完整性、准 确性、一致性等）的数据质量模型。
6 数据规划
数据规划阶段主要是确保所用数据满足数据需求阶段的要求，同时为使用这些数据完成人工智能
应用的目标提供支持。该阶段包括但不限于：
a) 设计数据架构，即界定所需数据的全部属性、来源、范围等，以及如何使用这些数据；
b) 制定具体计划，即制定涵盖数据采集、数据预处理、数据标注、模型验证等阶段的具体计划， 包括各阶段实施计划、数据质量计划等，以满足数据规范等方面要求；
c) 预计工作体量，即预估获得和准备数据以支持特定人工智能应用所需的工作量，可能包括任何 必要的数据重组、传输或收集的时间，以及为特定人工智能应用构建数据质量模型的时间。
7 数据采集
数据采集阶段主要是收集用于特定人工智能应用的数据，即从数据规划阶段所确定的数据源收集
的实时和历史数据。该阶段包括但不限于：
a) 结合预期数据源确定数据采集方式，即根据所需数据是否已存在并可直接再利用、是否可转化 现有数据来满足要求、是否可通过购买或许可获得数据、是否可以生成数据、是否需要采集新
数据等情况，确定是以获取和组合现有数据集、生成数据（如模拟数据、合成数据等）、收集数据（如传感器采集、手动输入等）等之中何种方式采集数据；
b) 测试并在必要时改进数据收集方法，即如需收集新数据，则要测试数据收集方法，在必要时调 整相关配置和参数设置、操作条件、传感器规格和安装位置等，以满足相关数据收集规范要求；
c) 测量并在必要时提升采集数据质量，以降低采集阶段数据质量问题引入下游阶段的风险，避免为下游阶段增加不必要的工作量。
8 数据预处理
数据预处理阶段主要是将所收集到的数据处理成可供数据标注等后续阶段使用的形式。该阶段涉
及以下可选过程：
a) 数据转换，以最小的内容损失，将数据从一种表示或空间转换为另一种表示或空间；
b) 数据验证，根据验证正确性、有意义、安全性、隐私性等数据质量特性，确保数据是正确的；
c) 数据清洗，检测错误、重复或缺失数据，并通过替换、修改、输入或删除等方式修正数据；
d) 数据聚合，将两个或多个数据集以汇总的形式合并为一个数据集；
e) 数据抽样，从数据集中选择数据，抽样可以替换或非替换方式进行；
f) 特征创建，创建比原始特征更能有效捕捉数据中主要信息的新特征；
g) 特征选择，使用可用特征的子集来降低数据的维数；
h) 信息丰富，链接各类数据源，并为数据增加额外的上下文语境。
9 数据标注
数据标注阶段为可选阶段，主要是针对有监督机器学习，其训练、验证和测试数据需要对单个或多个目标变量赋值。该阶段包括但不限于：
a) 明确数据标注规程规范；
b) 确定所需的技能和资源，如标注技能、工具、平台等；
c) 对数据标注过程进行监测和质量管理。
10 模型验证
模型验证阶段主要是将所准备的数据用于人工智能模型开发和训练，对模型性能是否达到预期进
行评估，以验证数据集是否满足要求。若模型性能达到预期，则表明数据集已满足要求。若模型性能未 达到预期，则可采取以下步骤：
a) 对于人工智能模型，确定数据集相比于算法，是否为致使模型性能未达到预期的根本原因；
b) 对模型验证阶段所发现的数据质量问题进行分析，将对模型性能产生不利影响的数据质量问题反馈给上游阶段，以改进相关阶段的数据质量；
c) 重复数据需求、数据规划、数据采集、数据预处理、数据标注等阶段以提升数据质量；
d) 重建人工智能模型，对模型性能进行评估。
参考文献
[1] GB/T 25000.24-2017 系统与软件工程 系统与软件质量要求和评价（SQuaRE） 第24部分：数
据质量测量（ISO/IEC 25024:2015，MOD）
[2] GB/T 41867-2022 信息技术 人工智能 术语
[3] GB/T 42755-2023 人工智能 面向机器学习的数据标注规程
[4] ISO/IEC 5259-1:2024 Artificial intelligence — Data quality for analytics and
machine learning (ML) — Part 1: Overview, terminology, and examples
[5] ISO/IEC 5259-3:2024 Artificial intelligence — Data quality for analytics and
machine learning (ML) — Part 3: Data quality management requirements and guidelines
[6] ISO/TR 21965:2019, Information and documentation - Records management in enterprise
[7] ISO/IEC 23053:2022 Framework for Artificial Intelligence (AI) Systems Using Machine
Learning (ML)
DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐
16
0- 0
已为社区贡献5条内容
所有评论(0)