《数据质量评估 实施方法》

CCS L70标准T/CECC XXX—2024数据质量评估实施方法Data qualityevaluation------Implementation methods（征求意见稿）发布实施2024-XX-XX2024-XX-XX中国电子商会数据质量评估实施方法范围1本文件给出了开展数据质量评估的评估流程及数据质量判定方法本文件适用于数据质量评估活动规范性引用文件2下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款其中，注日期的引用文件，仅该日期对应的版本适用于本文件不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件数据质量评估指标体系第部分通用指标要求T/CECC XXX-20241术语和定义3所界定的以及下列术语和定义适用于本文件T/CECC XXX—

20243.1被评估方organization subjectto theappraisal申请数据质量评估的组织个体

3.2评估机构assessment authority统筹数据质量评估工作的组织个体评估流程4概述

3.1数据质量评估流程包括评估前沟通、评估计划制定、评估实施、质量分析以及质量改进环节，如图所示1评估准备阶段评估实施阶段评估结束阶段计划制定_____,____3评估方法评估方式评估工具指标确定_____1____指标权重主要相关方被评估方、评估机构主要相关方评估机构评估机构图1数据质量评估实施流程评估准备阶段

3.2受理评估

4.

2.1受理评估申请是评估机构对被评估方提交的数据质量评估申请材料进行审核，确认被评估方符合数据质量评估条件，条件包括）被评估方应是在中国境内合法注册成立并运营的组织，其业务活动符合国家相关法律a法规和政策要求；）被评估方应当具备一定的数据管理能力，包括但不限于数据的存储、处理等；）被评b c估方应具备一定的技术支持能力，向评估机构必要的数据质量评估支持；）被评估方应d保持开放和合作的态度，积极配合评估机构的工作组建评估组

5.

2.2评估机构根据被评估方提供的数据情况，选派评估人员组建评估组，评估人员应符合相关要求，包括）具有经济、统计、计算机相关的工作背景或工作经验；a）遵守评估工作要求，掌握评估方法与评估工具的使用；b）按照评估计划开展评估活动；c）维护数据在评估过程中的保密性与安全性；d）能够识别数据质量相关问题e确认评估数据

6.

2.3评估机构应向被评估方明确数据质量评估目的及用途评估机构应根据评估目的及用途，明确被评估数据范围，包括但不限于评估数据时间范围、内容范围等评估机构应明确被评估数据的来源及获取方式，确定数据来源的合法性与准确性评估机构应明确数据存储位置及数据读取方式，保证数据在评估过程中的可访问性预评估

7.

2.4评估机构对被评估数据开展预评估，分析数据质量基本情况，达到数据评估基本要求则继续开展评估，未达到数据评估基本要求的应完成数据治理再开展数据质量评估明确业务要求

8.

2.5数据的质量与数据所支持的业务需求密切相关，评估准备阶段评估机构应深入分析被评估方业务需求，明确业务运行过程中对数据质量的各项关键要求，包括但不限于数据精度、数据完整程度、数据时效等标准法规分析

9.

2.6数据评估机构应根据被评估数据的内容及用途，明确数据评估工作使用的标准及相关法规评估实施阶段

10.计划制定

11.

3.1评估机构应根据被评估数据内容及数据量，合理分配评估人员及时间，制定合理的评估计划，包括评估目的、评估范围、评估任务、评估时间、评估人员、评估日程安排、评估所需要场地和设备等内容评估方法

12.

3.2评估机构应按照被评估数据的内容与形式，选择适当的数据质量评估方法，包括）系统评估使用数据质量管理系统等数据质量工具实现自动化评估，如自定义语a SQL句检核、数据集成工具等；）人工评估根据评估指标，结合评估人员数据质量评估经验进行数据评估，如资料判b断、经验判断等评估方式

13.

3.3评估机构应根据委托主体及被评估数据，确定数据评估方式，评估方式包括）全量评估对涉及的所有数据进行逐一评估；a）增量评估对涉及的数据，在特定的范围和时间段内新增的数据进行逐一评估；b）抽样评估按照抽样方案，对抽取的数据进行逐一评估c评估工具

14.

3.4评估机构应根据数据类型，如文本、图像、音频、视频以及三维模型等，选用相应的数据质量评估软件和工具，相关的数据评估软件和工具可参考以下工具）文本数据、；a DiVoMinerXAL ChineseWebTextCTAP KHCoder Wordij）图像数据、；b ImageJFiji ImagePro PlusiQstest GIQAImage-Quality-Assessment）音频数据c AudioAnalyzeMATLAB withSignal ProcessingToolbox Pythonwith、；LibROSA RavenPro OpenSMILE）视频数据d AmazonRekognitionGoogle CloudVideo IntelligenceAdobe PremierePro；DaVinci ResolveVideo Indexer）三维模型数据e AutodeskReCap ArcGISDREAM.3D CloudCompareArcGIS3D、Analyst SuperMap3D GISo指标确定

4.

3.5评估机构应参考《数据质量评估指标体系第部分通用指标要求》T/CECC XXX—20241建立数据质量评估指标体系，包括合规性、规范性、完整性、准确性、一致性、共享性以及时效性方面的指标指标权重

5.

3.6评估机构应根据数据所支持业务对指标属性要求的不同，包括合规性、规范性、完整性、准确性、一致性、共享性以及时效性，利用相关权重确定方法，确定不同类型指标权重，不同类型指标权重之和为1评估机构应根据基于数据所开展的业务对指标内容的要求，利用相关权重确定方法，对指标赋予分值，同一类型指标分值相加为分，部分指标赋值情况可参考附录数据内容与100A评估对象应用场景相关性较大或与评估日期较为接近时，相关数据内容在完整性、准确性与一致性上应赋予较大权重相关权重确定方法包括）专家评分法通过领域内专家对各个指标的重要性评价计算指标权重；a）层次分析法通过数据层次结构，比较不同指标之间的相对重要性确定指标权重;b）燃权法基于数据信息炳，通过指标的信息燧大小确定指标权重c评估机构宜采用主客观结合的方法确定权重评估结束阶段

4.4质量分析

4.

4.1评估机构应针对数据质量结果开展分析，识别数据中的全部质量问题评估机构应基于数据质量评估过程及结果编制详实的数据质量评估报告，报告内容应包括但不限于评估结果、数据质量分析、数据质量存在问题以及数据质量改进建议质量改进

4.

（1）式中:数据质量评分；D——指标类别数量；n——指标类别，包括合规性、规范性、完整性、准确性、一致性、共享性以及时效性；i——单个指标类别内指标分数之和；C——单个指标类别权重a——数据质量评分与数据质量等级的对应关系可参考表1表数据质量评分与数据质量等级对应表1数据质量等级分数描述优秀数据精准可靠，全面高效支撑业务决策，显著提升运营效率90-100良好数据质量较高，有效支持业务分析，助力业务稳定发展80〜90合格数据基本满足业务需求，对业务有一定支持，但存在改进空间60〜80不合格60以下数据问题频发，严重阻碍业务运行，影响决策效果附录A（资料性）数据质量评估指标参考部分指标赋值情况如表所示A.1表数据质量评估指标及赋值A.1指标类别指标分值建立了安全规划5建立了分类分级管理机制5建立了访问权限管理制度5合规性数据进行了脱敏处理5数据进行了加密处理5••••••••••••数据库命名简洁明确3主题域分类稳定5概念域覆盖业务关键内容与特征5规范性逻辑模型内部逻辑一致5元模型符合数据库设计与业务逻辑要求5••••••••••••数据内容完整5完整性数据档案完整5••••••••••••数据内容符合业务认定合理取值范围2数据采集具有无偏性2准确性数据分布具有正态性3数据接口重复率低于业务要求2••••••••••••数据内容具有一致性5数据交叉验证具有一致性5一致性数据命名具有一致性3••••••••••••数据接口多样性符合业务要求3数据兼容性与互操作性符合业务要求3共享性数据支持并发访问5数据支持多平台访问5••••••••••••数据米用实时方式进行更新维护5时效性数据备份时效性符合业务要求5参考文献《中共中央国务院关于构建数据基础制度更好发挥数据要素作用的意见》

[1]

[2]ISO8000—1:2022Data quality—Part1:Overview

[3]TSO8000—2-2022Data quality—Part2:Vocabulary系统与软件工程系统与软件质量要求和评价第部分:

[4]GB/T

25000.12—2017SQuaRE12数据质量模型系统与软件工程系统与软件质量要求和评价第部

[5]GB/T

25000.24—2017SQuaRE24分:数据质量测量信息技术服务治理第部分通用要求

[6]GB/T

34960.1—20181信息技术数据质量评价指标

[7]GB/T36344—2018⑻信息技术大数据数据分类指南GB/T38667—2020。