基于ODS的大数据内部审计平台的研究和设计
来源:用户上传
作者:刘作虎 陈文煊
【摘 要】内部审计是企业内部管理的重要组成部分，对改进企业的经营活动具有重要的作用，能够最大程度地规避企业风险。随着银行逐渐数据化转型，内部审计模式已发生实质性转变，由传统抽查审计转向审计全覆盖，由事后监督审计转向兼顾事前、事中的预警审计。如何打破数据孤岛，深挖数据价值，为大力推进商业银行高质量发展保驾护航，就需要坚持科技强审，着力推进大数据审计。通过不断完善数据采集机制，加大数据集中力度，推动数据标准化工作，运用科技创新方法，建立基于ODS的大数据审计平台，推动内部审计工作向深层次、高质量发展。
【关键词】ODS;内部审计;大数据
一、研究背景和现状分析
（一）研究背景
随着商业银行业务电子数据化程度的不断增加，金融产品和服务手段不断创新、交易信息海量增加、现代信息处理及传递方式均发生了重要变更，商业银行面临全新的审计环境，传统审计模式将很难适应业务的快速发展和内、外部监管要求，非现场审计应运而生，在面对关系复杂、种类繁多的业务及财务数据背景下，如何让审计人员不陷入“数据灾难”，就迫切需要引进先进的科技手段，通过梳理商业银行各个系统的数据源，建立商业银行大数据内部审计平台，以改进现有审计模式，在有限的审计资源下，提高审计质效，充分发挥审计的监督职能。
（二）现状分析
目前，我行非现场审计分析所采用的数据主要来源于从各个业务生产系统下载的相关报表、业务管理者手工记录的台账等，数据的完整性、准确性、有效性、一致性难以保证，非现场审计人员仅仅依靠这些数据进行简单的归类统计分析，存在较大局限性，难以发挥非现场审计的优势。
此外，我行核心系统和外围系统独立建设、分割开发，业务数据统计口径不同，系统间映射关系复杂，外加我行大部分审计人员不具备计算机信息系统、数据库等专业知识，不具备独立编写审计模型和大数据分析的能力，在實际工作中，非现场审计人员一般依靠经验方法，重复劳动，收效甚微，严重影响了非现场审计质效。
二、内部审计平台功能的研究和设计
（一）内部审计平台功能简介
经过我行审计部多年的工作经验积累，结合对我行核心、外围、渠道等生产系统的研究，为了更好的提高审计的灵活性、增强审计的时效性，节省审计成本、实现审计全覆盖，为我行发展决策及战略部署提供审计建议，本文提出了基于ODS开发内部审计平台的研究和设计思路，该平台以我行数据下载平台的数据为源头，预留直接对接生产业务系统数据库的接口，经过对源数据进行清洗、提取、转换、装载后进入ODS，在此基础上实现三大功能：一是风险预警功能，实时监控风险指标，对可疑指标发出预警信息;二是查询下载导入功能，审计人员可查询、上传、下载相关可疑数据、审计模型;三是风险评估功能，对部分重点风险指标进行加权量化，定期生成针对业务关键因素具有指向性的风险评估报告。
（二）源数据的获取
审计源数据来源于储蓄核心系统、个人信贷系统、公司信贷系统、网银等各个应用系统，目前，我行大部分业务生产系统在T日批处理时将当日产生的生产数据以全量或增量的文件形式下发至总行FTP服务器，总行FTP服务器通过按省对数据进行拆分压缩，将拆分后的文件下发至一分FTP服务器，一分数据库服务器通过一分FTP服务器获取拆分压缩的文件进行解压，按一定规则入库，即一分数据下载平台。
内部审计平台的数据来源于对一分数据下载平台的重新提取、转换。按照以往审计经验和监管要求的规则生成相关联的多张大表，这些大表的字段来源于源系统中的不同表或者不同源系统中的不同表，采用ODS中的数据建立审计模型，可以提高查询速度，降低系统资源消耗，在很大程度上提高审计的效能。
（三）操作数据存储的工作过程
生产系统中的数据通过ETL装载到ODS中，ODS系统将按照规则整合好的数据传送到企业数据仓库（EWD）中，完成生产数据从操作环境到分析环境的过程。具体步骤如下：
1.划分主题，即根据审计需求，对不同生产业务系统中的表进行冗余分析，形成一张或多张大表。
2.结合监管和业务制度要求，对ODS数据抽取的粒度进行分析，不断进行数据抽取，最后生成符合审计要求的规则数据源。
3.对整合好的数据进行管理，可以将ODS中的数据分为当前库、历史库。
（四）操作数据存储的系统构成
当确定构建ODS系统的技术路线后，就需要进行审计模型的设计，审计模型是审计技巧和审计经验的结晶，审计模型设计三要素包括思想、技术、数据。思想是创建审计模型的灵魂，是审计人员在日常审计工作中的思考总结;技术是实现审计模型的方法，可以采用非现场审计的辅助工具如SAS数据库、Excel软件等;数据是检验审计模型的关键，只有全面、完整、可靠的数据才能使审计模型做到对业务风险判断有效、明确监控方向并准确找出违规点。在建立审计模型时，要充分调查各类系统、各种业务的操作流程，同时考虑外部监管部门的明确要求，按照业务数据的本质构建ODS。
（五）操作数据存储平台的性能
1.ODS平台的设计规划。
本文研究和设计的ODS系统主要功能有ETL过程、数据存储和数据访问三个部分。其中，数据的存储和访问效率是评价ODS系统性能的决定性因素，因此，数据存储的质量是ODS系统设计的关键考虑部分，包括但不限于以下因素：（1）大容量、多高速通道的存储设备。可以选择一些大品牌的存储，如EMC、NETAPP等;（2）搭建双活数据库，建立RAC，形成合理的数据备份模式，确保数据安全;（3）使用I/O均衡的硬件，在安装操作系统前，对物理服务器的物理卷进行阵列操作，形成RAID将I/O分散;（4）对数据库中的buffer大小、查询和逻辑日志进行优化。
2.ODS平台的可扩展性。
本文研究和设计的ODS系统平台，第一步是进行数据整合，因此ETL的过程对整个ODS系统的效率起到决定性的作用，意味着ODS系统的可扩展性从某种程度上讲取决于ETL的可扩展性，为保证ETL的效率，可以采用以下措施：（1）Oracle数据库为ODS提供带索引的存储技术，并提供面向对象的数据表;（2）在设计审计模型时，尽量考虑效率;（3）根据存储品牌厂商的建议对存储进行规划设计;（4）前端应用服务器采用负载均衡，后端数据库服务器采用集群的方式，当内部审计平台出现瓶颈时，可以横向对服务器进行扩展。
三、结论
建立基于ODS的银行内部审计平台是我行在新时代新形式下的必然要求。通过建立内部审计平台，将杂乱无序的数据交给计算机处理，才能大力推进审计全覆盖，更好的发挥审计监督作用。本文从我行生产业务系统数据库的现状出发，结合我国和我行审计的特点，研究和设计了我行基于ODS的银行内部审计平台，介绍了内部审计平台的功能，详细说明了ODS平台数据的获取来源、ODS的工作过程、ODS的系统构成和ODS的性能。通过逐渐建立起基于ODS的银行内部审计平台，推动我行内部审计高质量跨越式发展。
参考文献
[1]李鹏.基于存储过程的分段数据存储方式设计[J].信息技术，2011.
[2]梁红兵.银行数据仓库构建过程中的数据清洗及VIP客户的挖掘[D].云南大学，2013.
[3]蒋天榕.基于数据仓库的银行 DSB 系统设计与实现[D].厦门大学，2014.
（作者单位：中国邮政储蓄银行江西省分行）
转载注明来源:https://www.xzbu.com/3/view-15366303.htm
