一、国家政策标准规范数据质量相关要求:
1、数据20条规定:数据作为新型生产要素,是经济社会数字化转型的基础,已成为中国国策,上升到国家意志层面,快速融入生产、分配、流通、消费和社会服务管理等各环节。当前时代,经济社会精准化治理和企业生产经营管理导致数据量呈爆炸式增长,数据质量的问题也普遍存在。没有高质量的数据,一切数据分析、数据挖掘、数据应用的效果都会大打折扣,数据价值的潜能发挥及开发利用、交易流通都会受到影响。“数据20条”提出探索开展数据质量标准化体系建设,加快推进数据采集和接口标准化,促进数据整合互通和互操作。鼓励企业积极参与数据要素市场建设,围绕数据来源、数据产权、数据质量、数据使用等进行数据流通交易声明和承诺。要求各部门各行业完善元数据管理、数据脱敏、数据质量、价值评估等标准体系。
2、财会文件规定:24年1月1日起,财政部数据资源会计处理暂行规定文件正式实施,明确提出对企业数据资源进行确权登记、初始计量、后续计量、收入确认、记入财务报表,为企业数据资源进入企业资产负债表提供了合法依据,是企业数据资产化的重要环节,实现了从会计角度在资产方面揭示数据资源的经济价值,客观反映数字化赋能所带来经济利益的流入情况,为培育数据资源要素市场、促进企业数字化转型升级、更好地赋能。23年10月1日起,中评协数据资产评估指导意见开始施行,规范了数据资产评估机构和专业人员行为准则。其中数据资产评估操作要求提出执行数据资产评估业务,需要关注影响数据资产价值的成本因素、场景因素、市场因素和质量因素。成本因素包括形成数据资产所涉及的前期费用、直接成本、间接成本、机会成本和相关税费等。场景因素包括数据资产相应的使用范围、应用场景、商业模式、市场前景、财务预测和应用风险等。市场因素包括数据资产相关的主要交易市场、市场活跃程度、市场参与者和市场供求关系等。质量因素包括数据的准确性、一致性、完整性、规范性、时效性和可访问性等。对数据资产质量采取恰当方式执行数据质量评价程序或者获得数据质量的评价结果,必要时可以利用第三方专业机构出具的数据质量评价专业报告或者其他形式的数据质量评价专业意见等。
3、国家标准要求:国家标准20214285-T-469 《信息技术 大数据 数据资产价值评估》规定,针对数据评估需求,进行数据质量要素、成本要素和应用要素的评价,通过对相关业务场景的数据的质量进行评价和分析,科学、客观的度量数据质量情况,确定成本和应用的影响范围,通过质量评价、成本评价、应用评价、报告评审环节最终形成“数据评价报告”,为后续价值评估提供质量要素支撑,也为数据治理指明方向和路径。
国家标准DCMM数据质量管理能力域体系:
1)数据质量需求明确数据质量目标,根据业务需求及数据要求制定用来衡量数据质量的规则,包括衡量数据质量的技术指标、业务指标以及相应的校验规则与方法。
2)数据质量检查根据数据质量规则中的有关技术指标和业务指标、校验规则与方法对组织的数据质量情况进行实时监控,从而发现数据质量问题,并向数据管理人员进行反馈。
3)数据质量分析是对数据质量检查过程中发现的数据质量问题及相关信息进行分析,找出影响数据质量的原因,并定义数据质量问题的优先级,作为数据质量提升的参考依据。
4)数据质量提升是对数据质量分析的结果,制定、实施数据质量改进方案,包括错误数据更正、优化、应用系统问题修复等,并制定数据质量问题预防方案,确保数据质量改进的成果得到有效保持。
综合国家政策、标准、规范要求,把好数据资产质量关,企事业单位开展数据质量评测,进行数据评价,是企业数据资源进入资产负债表和开展价值评估的前置要求,同时为企业建立完善的数据质量管理体系提供路径指引。
二、数据质量问题常见原因及质量评测指标
引发企业数据质量问题很多,涉及企业的信息系统、组织架构、人员、制度流程、企业文化等。目前常见的数据质量方面问题主要有三个方面:(1)数据来源不统一:同一数据可能来自多个数据源,由于角度不同可能产生理解偏差,导致数据质量问题(2)数据生存周期技术问题:数据在采集、传输、存储、挖掘、分析、利用和销毁等环节异常,导致数据质量问题;(3)应用系统使用操作不当:系统的建设容易忽视配套应用操作规范流程的制定和跟进。
按照国家数据质量标准要求,普适性评价指标主要包括:
1、规范性:数据符合数据标准、数据模型、业务规则、元数据或权威参考数据的程度;
2、 完整性:按照数据规则要求,数据元素被赋予数值的程度;
3、 准确性:数据准确表示其所描述的真实实体(实际对象)真实值的程度;
4、 一致性:数据与特定上下文中使用的数据无矛盾的程度;
5、 时效性:数据在时间变化中的正确程度;
6、 可访问性:数据能被访问的程度。
三、数据质量评测软件工具及流程
基于数据准确性、一致性、完整性、规范性、时效性和可访问性等维度选取可量化指标进行评价,通过数据质量评测软件工具,快速部署配置数据标准和数据质量规则。自动化的手段分析数据内容和结构;识别数据成分、分析业务规则合规情况、分析数据间关系及资源匹配关联关系;识别数据转化机制、建立数据有效性及准确性规则、校验数据之间依赖性等,快速识别人工难以发现的问题,如包含的特殊字符、值后面的空格、数据冲突等,快速找到数据规律并建立标准参数值和标准库,搭建可重复循环、自动化数据清洗和优化的数据处理平台,有效节省数据清洗优化时的人工介入时间,提高数据处理效率和数据质量,把好数据资产“质量关”。
企事业单位进行数据资源梳理,初步形成权属明晰、安全可靠、应用价值高、合规可信的数据资源目录集,确定数据资源入表范围及评估目标,展开具体质量评测,主要包括6个环节:
1、测试环境准备
2、测试数据抽样
3、质量测试
4、成本归集
5、应用评价
6、评测报告
四、数据质量评测报告及数据管理优化方案
经过数据质量评测及成本、应用、市场等评价工作环节,面向最终使用人员形成涵盖规范性、完整性、准确性、一致性、时效性等维度的科学、合理和客观的数据质量评测报告、定制化数据质量诊断服务以及数据质量优化提升建议方案。
1、基于数据质量评测报告,进行数据资源入表、数据资产估值、数据资产融资、数据信贷证券等资本化业务应用。
2、基于优化提升建议方案,优先选择关键数据治理任务时序,建立数据质量检核、监控和治理长效机制。
3、基于数据质量评测情况,全面优化提升数据管理体系建设,开展数据标准、主数据、元数据、数据质量、数据安全、数据服务等各方面数据治理工作。
4、建立起企业级数据标准化规范体系,数据质量管理平台,开展DCMM数据认证,全面掌控数据资产状况、增效降本运营、提升数据质量、促进共享开发、提升风控水平和优化流程管理,全面实现业务数据化、数据资产化。
文章来源于:《数据资产学习》公众号