环行铁道试验数据服务平台及关键技术研究

来源:用户上传      作者:周婉

　　摘  要： 结合国内外铁路试验发展的经验，阐述了建设环行铁道试验数据服务平台的必要性。针对环行铁道试验数据服务平台的构建开展研究，结合试验中心业务发展需求提出环行铁道试验数据服务平台建设目标及原则，分析了环行铁道试验数据服务平台总体架构、系统功能以及关键技术。
　　关键词： 试验;数据;总体架构
　　【Abstract】： Based on the experience of railway test development at home and abroad， the necessity of constructing the test data service platform for loop railway is expounded. This paper studies the construction of railway test data service platform， puts forward the construction objectives and principles of railway test data service platform， and analyzes the overall structure， system functions and key technologies of railway test data service platform.
　　【Key words】： Experiment; Date; Overall architecture
　　0  引言
　　铁科院环行铁道试验基地近年来承接了各类专业科学试验，包括机车车辆、铁道建筑、通信信号、铁道电气化设施、客货运输、特种运送等。为我国铁路运输和城市轨道交通的发展提供了良好的科技支撑条件。
　　通过多年的发展，美国、欧洲、日本的铁路数据服务已较为成熟，德国铁路股份公司通过规划建设统一的数据中心平台，实现了对设备故障分析等精确分析功能在内的数据综合应用平台，在设备状态可视化展示、检修成本优化分析等方面发挥了作用。瑞士联邦铁路运用大量数据进行基础设施管理，这些数据来源于众多不同的数据源，包括轨道使用时间、轨道状态、历史工作记录等，用来评估整体性能。美国raillinc公司自2015年开始相大数据方向转变，开发了定制化的数据服务平台，包括元数据自助管理、ELT抽象层、数据存储和备份等层面，
　　利用Spark进行流数据分析，利用SAS进行历史数据分析，数据服务促进了预测性维护、设备故障分析智能化[1]。
　　在调研了解国内外数据服务平台建设现状及铁科院各所对试验中心试验数据服务需求的基础上，结合环行铁道试验基地试验服务流程，研究环行铁道试验数据服务平台关键技术。环行铁道试验基地是铁科院的公共基础试验平台，实现了冗余双千兆网卡连接环线试验区与数据中心，上述硬件环境为研究数据服务平台关键技术奠定了基础和条件。
　　1  设计目标及原则
　　1.1  设计目标
　　通过对试验业务和现状的分析，可以得出系统的建设目标，就是要逐步建设覆盖多个板块试验业务，多个试验室，建立试验项目执行过程规范、试验数据高效利用、试验资源可控、试验知识不断积累的统一管理平台。建立统一的试验数据存储和高效利用平台，统一数据出入口，将试验数据、过程文档、资源信息统一在系统中进行存储[2]。统一数据格式解决数据大范围共享问题，实现数据的高效利用。建立标准化试验室信息管理平台，实现试验室人机料法环的管理。
　　1.2  設计原则
　　系统建设秉持在以实际需求为牵引的基础上，以注重先进性、确保操作易用性、保障构建灵活性、发挥扩展集成性、保证安全可靠性五个方面为设计总原则，作为系统整体建设总体要求贯彻执行。
　　1.2.1  先进性、扩展性原则
　　充分借鉴国内外和前期建设成果、技术、经验，立足眼前需求的同时，兼顾长期发展趋势，做到不落后国内国外先进水平。系统要兼顾后续发展规划，具有高度的扩展性和持续发展能力，能够适应试验业务管理的发展和理念的变化。
　　1.2.2  严格遵循试验室相关管理和运行标准
　　在试验数据服务平台建设过程中，将全面贯彻ISO/IEC17025：2005《检测和校准实验室能力的通用要求》标准中提出的对检测和校准试验室在组织、管理体系、文件控制、改进、内部审核等方面的管理要求，在人员、设备、检测和校准质量保证、结果报告等方面的技术要求，以确保系统在设计方面的规范性、安全性，并保证系统的可扩展的灵活性和良好的集成性。
　　1.2.3  紧扣试验室对试验管理的实际需求
　　充分结合试验室实际的试验业务流程、试验设备和试验工装等的管理办法和相关的规章制度等，以客户需求为牵引，努力做到易学易用，保证系统业务符合性和实用性。
　　通过先进的技术手段及硬件设备，来保证系统安全可靠的长期运行，并具备较强的数据备份和系统恢复功能。充分考虑数据的保密措施，系统管理采取涉密信息系统“三员”（系统管理员、安全保密管理员、安全审计员）分离的要求，严格各种数据的流向控制，防止非正常渠道的提取、修改。
　　2  试验数据服务平台架构设计
　　2.1  总体架构
　　试验数据服务平台采用B/S架构、JAVA语言开发，总体架构包括五个层面。
　　第一层面是基础支撑组件，提供系统在性能处理、负载处理、备份处理方面的功能，具体包括连接池监控、SQL监控、URL监控、Session监控、API调用监控、应用负载均衡、数据备份。
　　第二层面是技术配置组件，提供试验业务需要的基础技术组件，包括表单/模型配置、流程配置、业务系统接口配置、门户配置、消息配置、菜单配置、控件配置。 　　第三层面是业务配置组件，这层提供与试验业务相关的组件配置，包括采集规则配置、试验记录单配置、报告模板配置、统计配置、编号规则配置。
　　第四层面试验业务模块组件，提供可供直接利用的业务模块，包括项目管理、试验业务管理、数据中心、能力管理、资源管理等模块[3]。
　　第五层面是访问端的支持，可以支持PC终端、平板终端、手机终端。
　　2.2  功能设计
　　系统提供6个大的功能模块，全面覆盖试验数据服务各方面的管理需求，包括试验数据汇集及预处理、数据存储与管理、数据分析与统计、实时数据处理、业务流程处理、数据安全与报警。
　　2.2.1  数据汇集及预处理
　　数据汇集和预处理功能提供数据的规范化入库操作，包括结构化和非结构化数据入库、数据的完整性检查功能，通过数据的汇集和预处理，实现各类城轨项目中不同类型和不同专业的试验数据规范试验数据的规范整理和入库。
　　结构化数据录入，检测过程中，对于设备软件产生的试验结果很多都是以txt、xls或不常见格式的文件暂时存储的结构化数据。对于这类文件，系统具备数据导入功能或者对于不常见格式的文件，在用户提供数据格式说明或解析接口文件的情况下可实现数据文件的解析，实现数据的结构化入库。同时，对于资源、设备、人员等数据量大类型的数据，可以在设置好导入模板后，对其进行批量的数据导入、定时导入、数据后台导入等一系列数据导入功能，满足用户的数据录入需求，保证系统内数据的完整性和准确性。
　　非结构化数据录入，试验室内对于非结构化数据的类型通常为知识、标准、质量文件等数据类型。此类文件系统需要存储，但是不需要系统结构化存储。系统会以附件的方式对文件进行管理。包括上传、下载、删除等功能操作[4]。
　　数据完整性检查，导入数据以结构化方式进行存储，在数据导入时提供导入向导配置，可以配置表头位置和格式，可以配置数据位置和格式，提供导入前的预览功能，确认后进行数据导入。系统提供断点续传功能，在发送的过程中，记录下发送的进度，当出现包括网络中断等发送出错的情况下，断开连接。等下次网络好的情况下，继续发送剩余文件的过程。
　　2.2.2  数据存储与管理模块
　　系统建立关系型数据库，根据系统中不同的业务单据、业务数据的关系情况创建数据库表单，定义数据库字段和每个数据库表之间的关系。将系统中的数据构造出便于管理、查询、的数据网络。便于用户的查找，有效避免了数据的碎片化，保证了数据的完整性，便于用户的追溯。
　　为了用户方便快捷的试用存储的数据，加大数据的利用率，针对数据检索系统提供以下功能：
　　1）数据以关联表结构进行存储，在查找时用户可根据树状结构进行查找数据、实时在线浏览数据和下载数据。下载数据主要提供非结构化数据的下载，其他存储数据的导出功能。便于用户对数据的进一步处理的需求[5]。
　　2）系统提供数据的模糊查询、关键字查询、组合查询、自定义查询等多种查询功能，方便用户快速的找到想要的试验数据信息。
　　系统可对数据的查询、进行权限控制。根据用户不同岗位的授权，不同人员可查看的数据可以不一样。根据不同岗位授权，用户可对数据的处理也不同。系统允许有权限的用户将试验数据导出成指定的txt、xls文件格式或用户需要的文件格式（用户提供文件格式说明）。
　　2.2.3  数据分析与统计
　　系统提供数据分析功能，将原始的数据根据用户的算法结合成可以利用的，有分析和借鑒意义的数据，提高了数据的利用率，便于实验室对试验结果的分析。
　　系统同时提供数据统计功能，按照实验室检测业务按照一定维度进行数据统计，便于实验室对人员、资源、设备、费用、成本等的运营数据的管理，节省了检测中心每个月末对数据的统计工作，提高了实验室工作效率。
　　系统根据实验室具体业务需求提供多种数据分析功能，提供对来自不同试验任务、不同试验设备、不同试验类别的数据进行数据绘图和对比的功能：
　　（1）在线分析功能：系统提供数据分析算法、公式、数据字段、数据判断标准的维护功能。系统可按照用户维护的公式、算法对数据进行处理分析，并根据判断标准进行分析结果的判断。
　　（2）离线数据处理：对于某些复杂的、专业性要求严格的数据，系统可提供数据导出功能，用户将导出的数据导入至专业的分析软件进行数据分析。
　　系统可根据用户提供的数据统计方法，自定义配置不同的统计模板，例如，提供折线图、柱状图、散点图、饼图，多维数据可视化的平行坐标，仪表盘等多种试验数据分析展示功能，对不同数据进行多维度数据统计。便于用户的查询、总结、汇报等工作[6]。
　　2.2.4  实时数据处理
　　系统支持数据实时状态的监控和试验后数据的解析，满足企业对试验数据实时状态监控的要求，为满足实时数据监控要求，系统支持内存数据库和实时数据库的，满足实时展示性能。
　　为试验过程中产生的数据，提供试验相关数据的统一展示入口，以及数据之间的关联关系。试验数据对整个试验生命周期的数据进行统一录入、分类、组织、展示，提供统一的查询入口，并对数据向档案系统统一发送归档内容。系统自动针对不同的试验类型生成多维度的数据结构树，包括试验任务结构树、原始记录结构树、试验报告结构树等。通过结构树对各种试验类型的试验数据和试验信息进行数据总览。
　　2.2.5  业务流程处理
　　系统支持相关部门数据查看、下载的申请，支持上传后的文档申请，同时可以在系统中定制试验报告并生成实验报告。
　　系统提供业务单据审批的功能。包括审批意见的填写、审批流程的驳回、撤销等。用以满足用户对审批流程不同业务场景下的不同需求。 　　试验数据申请。系统支持试验数据的查看、下载的申请，系统可以指定人员范围、项目范围、起始时间和结束时间[7]。
　　试验数据审核，试验数据上传后，可以提交数据确认审核，提交审核流程，数据审核后归档到试验数据中心池，审核流程可以根据实际情况选择是否需要。
　　试验完成后，系统支持报告的自动生成和数据的发布，报告生后和数据发布需要进行审核，审核完成后，数据进入数据中心。
　　2.2.6  数据安全与报警通知
　　数据权限管理系统提供用户名密码登录机制，实现对用户身份的鉴别。依托组织架构根据企业不同的岗位角色分配不同的数据权限，包括数据的查看权限、数据编辑权限、表单权限、按钮权限、以及单个数据文件是否具有读取、删除、修改、下载等相关操作[8]。
　　报警通知。系统提供报警通知功能，在数据导入过程中出现数据匹配问题，可以在弹出框中查看错误信息，也可以勾选自动跳过导入失败的数据，在导入完成后，下载错误日志查看完整错误信息。
　　日志管理。主要包括数据修改日志审计、操作日志审计、系统错误日志审计等功能。系统用户行为都有审计日志，包括：用户名、IP地址、操作对象、操作时间、操作内容、操作結果等信息。具有权限的用户可以查询、统计、导出审计日志。
　　3  关键技术
　　3.1  基于试验数据分析的辅助决策模型
　　紧密结合试验数据应用需求，提供多种基于数据分析的辅助决策模型，可有效协助用户掌握试验情况，分析试验问题，制定试验计划[9]。
　　数字化环行铁道系统建设不仅仅是存储管理数据，更为重要的是将数据用起来。数字化环行铁道系统建设的最终目的是有效使用这些试验数据，为相关部门提供有效的决策支持。
　　3.2  数据入库的关键技术
　　数据入库的关键技术：动态创建数据表、Web Service技术和数据库.DataAccess.Client组件提供的批量入库技术[10]。
　　本系统的入库策略采用了数据库的ADO.Net实现。利用数据库数据库自带的批处理功能，通过设定ArrayBindCount来实现对参数数组的传递。当ArrayBindCount设置为大于1时，传递给数据库Command参数不再是参数值，而是参数数组，这样，一条Command指令就可以执行多个处理。使用这种方法，利用了数据库本身对批量数据操作的优化机制，极大提高了数据操作效率。
　　4  结束语
　　试验数据服务平台是一个对各专业、各种不同类型的试验数据进行统一的收集管理、存储、分析应用、共享服务的平台[11]。具备试验现场数据实时汇集管理、试验基础信息管理、数据专项分析等功能，支持数据的基础台帐关联、关联综合应用，并通过试验数据的数据清洗、格式转换、元数据建模等建立大数据融合应用的数据基础，通过数据权限、数据服务等途径实现数据的安全和共享管理，通过模块化分析、标准化接口等实现定制化的大数据应用能力。
　　系统可以将正在进行和计划进行的试验项目数据进行管理，为长期积累各类试验过程数据、对历史试验数据综合对比分析挖掘、试验项目立项分析等提供支撑。
　　参考文献
　　王都， 林峰， 闫晓春. 美国铁路试验服务及其思考[J]. 中国铁路， 2015， 10： 77-80.
　　杨振宇. 高校招生数据采集及分析系统设计与实现[J]. 软件， 2015， 36（5）： 61-66.
　　丁小盼， 周浩， 贺珊， 等. 基于OpenStack的云测试平台及其性能分析研究[J]. 软件， 2015， 36（1）： 6-11.
　　张小璞， 左小清. 在ArcGIS下基于Python的路网数据批处理方法[J]. 软件， 2018， 39（7）： 130-133.
　　季菁苇. 计算机数据库技术在信息管理中的应用研究探讨[J]. 软件， 2018， 39（6）： 160-163.
　　吕发智. 企业网络数据安全问题分析及应对策略研究[J]. 软件， 2018， 39（6）： 101-104.
　　史天运， 张春家. 铁路智能客运车站系统总体设计及评价[J]. 铁路计算机应用， 2018， 27（7）： 9-16.
　　杜淑颖. 基于大型数据集的聚类算法研究[J]. 软件， 2016， 37（01）： 132-135.
　　曾庆勇， 刘远仲. 浅谈物联网技术发展方向与产业前景[J]. 软件， 2018， 39（3）： 37-4.
　　原方圆， 马书南， 雷伟， 等. 高安全性数字化档案管理系统的设计与实现[J]. 软件， 2018， 39（7）： 98-102.
　　陈申平. 敏捷软件开发中的配置管理探讨[J]. 软件， 2018， 39（5）： 134-138.
转载注明来源:https://www.xzbu.com/8/view-15016153.htm