数据治理技术在高职院校中的应用方法
来源:用户上传
作者:孟凡明
摘 要：本文分析了高职院校在数据资产、数据治理的标准规范、技术手段、规章制度等方面所面临的一些问题，讨论了数据治理技术在建设“智慧校园”上的重要性。另外，本文根据高职院校的教育大数据治理过程中出现的问题，提出了高职院校对数据治理技术的应用方法，并详细分析了高职院校的数据治理流程。
关键词：数据资产 数据治理 智慧校园
中图分类号：TP311 文献标识码：A 文章编号：1674-098X（2019）10（a）-0171-02
1 数据治理技术概述
近年来随着大数据时代技术的不断发展，各企事业单位积累了海量的数据资源，社会各界均认识到了不断积累沉淀的海量数据资源的潜在利用价值，并对积累的海量数据资源展开了深度分析挖掘，形成了具有单位业务特色的知識数据。
数据是一个单位及其重要的数据资产。目前，“盘活”单位内部数据资产，充分挖掘释放数据资产的深度潜在价值，是一个企事业单位推动大数据技术为本单位业务赋能，推动单位业务发展、实现数据资产从保值到增值跨越的重要工作内容。
数据治理工作包含数据资产的采集、处理、存储、应用、稽核、监管、标准制定等子任务[1]。数据治理是企事业单位为提高数据资产质量、推动数据融合、发挥数据资产价值而建设的一整套技术手段、规范标准和相应的管理机制。
2 高职院校数据治理面临的挑战
随着2018年6月7日国家标准《智慧校园总体框架》[2]的出台，高职院校的“智慧校园”建设工作正在全面开展。因此，高职院校建设了众多的业务系统，教师、学生、行政人员等用户产生的数据分散于多个部门，多个业务系统中，缺少对数据的有效治理。目前虽然各院校已意识到了数据治理的重要性，但在数据治理的具体落地实施过程中遇到了一系列的挑战，具体包括：
（1）数据资产未盘点：数据管理者需要了解数据资源的含义、用途，没有全局数据资产视图，含义不明确;
（2）“数据孤岛”：据统计，98%的企事业单位都存在数据孤岛问题[3]。数据之间不能顺畅的进行数据共享，势必不能完成有效的数据关联融合，这将降低数据价值，无法发挥数据资产的深度潜在价值;
（3）缺乏统一数据标准：缺乏统一数据标准指导数据资源定义与生产，无法进行数据内容正确性、填充率判定;
（4）数据不规范：不同数据生产系统生产的数据格式不统一，无法直接进行数据融合，干扰数据理解和应用;
（5）缺乏数据质量稽核机制：缺乏对新增和存量数据质量（元数据、内容、条目）稽核机制，无法评估其质量;
（6）数据无法追踪溯源：缺乏对知识数据处理转换各环节的监控机制，无法了解数据的“来龙去脉”;
（7）业务对接成本高，重复处理：每个业务需从原始数据开始，对数据进行标注、清洗、加工，效率低，周期长;
（8）数据价值无法评估：缺乏数据成本、数据价值评估体系。
3 数据治理在高职院校的应用方法
高职院校数据治理工作需要从标准规范、技术手段、规章制度3个方面开展。可由院校数据集中度较高的部门开始数据治理工作，从具体业务能力建设开始，由点及面，逐步建设数据治理所需的技术手段做起，逐步颁布并宣贯相关标准规范和规章制度，自底向上推动数据治理工作。也可成立专门的数据治理小组或部门，集中数据治理权力，统筹规划、分步实施，自顶向下推动数据治理工作。
数据治理工作可以从数据标准管理、主数据管理、数据质量管理、数据安全管理、数据价值管理、数据共享管理、规章制度体系等方面开展[4]。数据治理工作如figure1：
3.1 数据标准管理
数据标准是针对数据的规范标准，用以确保数据在生产、存储、加工处理、应用等环节的标准化，数据的上下游标准一致，降低各系统环节业务人员对数据的沟通、理解成本。数据标准建设和管理的价值包括：确保数据符合规范标准、助力数据质量规范、加快业务库表建设、统一数据交换标准、提升数据管理应用效率和质量等。可从以下3个方面进行数据标准管理。
3.1.1 数据标准的制定
可基于国家标准、行业标准、企业标准等进行本院校数据标准的编制，包含数据的命名规范、数据取值标准、安全等级标注等方面。数据标准主要包含基础类数据标准、指标类数据标准两个方面，每项标准涉及标准分类、标准内容、相关公共代码。
3.1.2 数据标准维护
建设数据标准维护技术手段，支持基于界面和基于API对数据标准进行维护管理。确保数据标准的安全可靠唯一，支持对数据标准的历史版本回溯和最新版数据标准的发布。
3.1.3 数据标准利用
数据标准在数据治理过程中的数据汇入清洗标注、数据质量稽核、数据融合分析、数据共享交换等环节均有使用，是数据治理过程中的数据规范指导。为推动数据标准的执行落地，需建设相关的数据标准管理工具以及进行必要的宣贯工作。
3.2 主数据管理
主数据是指高职院校的核心业务产生的数据，是在日常数据处理、应用、经营过程中被采集、处理、交换、融合利用最多的数据，是高职院校的核心数据资产。在高职院校通常基于主数据做了大量的业务分析，用于指导高职院校相关业务工作的开展。 主数据管理是指对主数据的生产、存储、加工、升级等过程的管理，包括数据汇入与存储、数据资产编目管理、数据血缘管理等方面[5]。
3.2.1 数据汇入与存储
数据汇入与存储完成主数据的数据加载、实时清洗标记、离线存储等功能。在主数据实时生产接入的过程中按照数据标准中的规范要求完成数据的清洗处理。同时对主数据按业务规则实时打好业务标记以发挥实时热数据的最大价值，减少海量主数据的离线处理复杂度。
3.2.2 数据资产编目管理
数据资产编目是数据治理融合的基础，理清高职院校内部数据资产，是有效的开展高职院校数据治理工作的前提。
数据资产编目管理包括对数据的资源描述信息（如：基本信息、数据字典、存储位置信息等）、数据归属、数据权限管理、数据地图等信息的维护管理。
3.2.3 数据血缘管理
数据血缘是指数据生成的链路关系，从数据的采集、转换、融合关联到最终的数据结果的各个环节的链路关系，用于描述知识数据的生产处理全过程。只有梳理清楚数据的血缘信息，才能在数据生产加工的各个环节进行有效的數据监控，在数据生产故障时才能及时高效的定位根源问题。
3.3 数据质量管理
数据质量管理是通过技术手段监测数据是否符合业务预定的数据标准规范，从数据角度发现数据在生产、加工处理等过程中存在的问题，并形成数据质量报告，呈现数据在各部门各环节的数据质量，指导业务人员发现数据质量问题根源，持续保障数据具有较高的数据质量。
数据质量管理几个常见的稽核指标包括空值检查、值域范围检查、规范性检查（数据类型/长度）、逻辑检查、重复检查、一致性检查等指标，针对数据的规范性、完整性、准确性、唯一性、时效性等维度进行数据质量的监测[6]。
3.4 数据安全管理
数据安全管理通过对数据以及数据用户进行安全等级划分，对不同安全等级的用户划分不同的数据访问权限，以确保在数据共享的同时符合高职院校的数据安全管理规定。数据安全管理需在制定相应的安全管理办法的同时，建设支持多安全等级用户在访问数据时的权限管理、访问审计、行为回溯、越权访问阻断等功能。
3.5 数据价值管理
数据价值管理是从高职院校的实际业务出发，对数据的业务价值以及数据发挥的效益进行评估衡量。数据的成本主要包括数据在生产、采集、存储、加工处理、系统运行维护等环节产生的硬件费、软件费、维护费、机房相关的费用等。数据的价值主要从数据产生的业务效益、社会效益、数据运营收益等。只有建立了数据的成本和收益评估体系，才能对数据的加工和运营开展行之有效的管理。
3.6 数据共享管理
数据共享管理是指对数据在各部门各用户甚至与外部单位间的共享交换管理。数据共享交换管理需建立数据共享交换规范和制度，以及建立数据共享交换技术手段。数据共享交换能力的建立是多部门多用户间数据融合的关键环节，保障数据在安全合规的前提下按业务需求进行高效的融合关联，将深度释放数据价值，为高职院校的业务发展赋能。
3.7 规章制度体系
数据治理工作的开展需协调高职院校内多部门的数据资源，并需围绕业务需求打通数据使用、共享、融合的流程机制，这需要建设相应的技术手段的同时制定相应的管理规章制度。规章制度体系将明确高职院校内部各部门的“权责利”，保障数据治理在生产、加工、使用、运营、监督、审计等各个环节的正常运行。并需主管部门定期开展培训宣贯工作，保障数据治理规章制度的有效落地运行，推动数据治理工作的标准化、规范化。
4 结语
在建设“智慧校园”的过程中，各部门的应用系统会产生海量的数据资源，部门间根据业务需要使用数据、共享数据、交换数据等，因此，数据治理技术就显得尤为重要。数据治理技术在高职院校中的应用，将会使其提高数据质量、数据资产的有效管理和数据的高度共享，从而提升高职院校各部门的业务水平。
参考文献
[1] 金天骄.税务数据治理在运营商政务云平台的实现方案研究[J].邮电设计技术，2016（6）：69-73.
[2] 中国国家标准化管理委员会.GB/T 36342-2018.智慧校园总体框架[S].北京，2018.
[3] Gaurav Dhillon. Data Silos Are the Greatest Stumbling Block to an Effective Use of Firms' Data [EB/OL].
[4] 孙屹.浪潮集团大数据管理能力在电子商务行业的应用研究[D].浙江工业大学，2017.
[5] 匡松.Visual FoxPro大学应用教程[M].成都：西南财经大学出版社，2014.
[6] 孙常鹏，张耀，于海涛，等.运营监测数据质量研究[J].数码世界，2018（5）：357-358.
转载注明来源:https://www.xzbu.com/1/view-15142588.htm
