数字资源服务绩效评估研究综述

来源:用户上传      作者:

　　[摘要]近几年有关数字资源服务绩效评估问题的研究主要集中在其含义、评估指标体系、绩效分析方法、绩效评估的困难等方面。通过对已有研究的分析发现研究中有理论研究与实践脱离、指标体系缺乏可操作性、没有国家标准等问题。统计数据的标准化、规范化及其获得模式的研究、评估指标的定量与定性相结合等问题需要在以后的研究中继续探讨。
　　[关键词]数字资源　数字资源服务　绩效评估　评估指标　绩效分析
　　[分类号]G250.7
　　
　　数字资源服务绩效评估问题是当前图书馆界关注的热点问题之一，笔者在中国期刊全文数据库中对此主题在2000―2007年间进行检索，共检索到相关文献268篇，其中2000-2003年为49篇，2004-2007年为219篇，近几年对这一问题的研究越来越多。笔者还利用中文科技期刊数据库、科技信息数据库以及网上搜索，对有关这一问题的研究进行了分析，可以看出关于数字资源服务绩效评估的研究主要侧重于以下几个方面：
　　
　　1　对数字资源服务绩效评估的含义的论述
　　
　　绩效评估方法最初用于企业管理，20世纪60年代后期美国图书馆界首次把它引入图书馆。研究者对“图书馆绩效评估”的概念已经有了共识，就是依据某个标准，对照统一指标，运用科学的方法，对图书馆投入的资金和资源，对图书馆管理者在一定时间内经营图书馆所取得的业绩和提供各项服务所获得的效益进行评价和测评。简言之，绩效评估就是对其投入成本和产出效益进行比较。
　　对于数字资源服务绩效评估的概念，研究者只是从各自的角度对其含义进行了阐述。文献认为评估是对资源服务做出价值判断的一种认识活动。数字资源使用后带来的效益包括当前效益和潜在效益。潜在效益不易被量化，具有间接性，所以评估的重点是通过统计数据和用户调查，分析用户的使用行为及影响服务绩效的因素，对数字资源服务绩效进行科学的评估。
　　罗曼曾提出，服务绩效是图书馆实际提供的服务质量，它包括功能质量(形成于服务过程)和技术质量(取决于服务产出和结果)两方面。据此文献将数字资源绩效评估概括为依据指标体系对其服务质量进行定量的测度和定性的分析。
　　笔者认为，虽然研究者从不同的角度对其含义进行了分析，但没有体现出资源与服务的有机统一。目前的数字信息资源呈现出多元化、网络化、动态化的特点，服务类系统也是多种多样，各图书馆引进的资源和服务各不相同，两者如何有机的结合，使资源服务达到最佳效益，是数字资源服务绩效评估的关键，评估可以了解其服务的有效性，可以作为图书馆提高数字资源服务质量的手段。
　　
　　2　对数字资源服务绩效评估指标体系的研究
　　
　　研究者多数认为指标体系的选取应当遵循国际通行的原则，并结合我国的国情。选择评估指标时应遵循以下几个原则：指标的通用性、可比性原则，系统优化、管理优化原则，实用性、可行性原则，稳定性与灵活性兼顾的原则，目标导向性原则，客观性、准确性原则等。研究者对指标体系构建原则的研究比较全而、详细，为指标体系的建立奠定了理论基础。
　　2.1　国外的相关研究
　　国外的研究始于上世纪90年代后期，往往以数字图书馆评价的方式进行，以英美为主的国家和一些国际机构开展了一系列研究项目，制定了一些标准和指南，发表了一些相关文献，主要有：
　　2.1.1　美国图书馆研究协会的“ARL电子图书馆服务评价(E―METRICS)”项目(2000-2003)主要内容是研究统计和衡量绩效的方法，研发数字资源评价指标体系，为ARL成员馆制定一个网络统计和绩效测度数据收集手册，提出14个指标，功能上较为完善，并对指标的可获取性、有效性进行了验证。已有49所成员馆采用。
　　2.1.2　网络电子资源在线使用统计COUNTER项目规定了四大类数字资源的使用统计规范，要求出版商和服务商必须向用户提供符合COUNTER标准的使用统计报告，定义了55个相关词汇，规范了8种报告格式。目前，COUNTER规范是数字资源使用统计研究取得的最重要的成果，是在国际上比较通用的标准。然而现有的指标还不能满足评估深层次使用数据的需要。
　　2.1.3　欧洲图书馆绩效评价和质量管理系统EQUINOX项目(1998-2000)其数字资源服务绩效评价指标体系分为5类14个指标m其中一些指标的获得性较差。
　　2.1.4 IS02789附录A　图书馆电子服务使用评价，包含4个核心指标和4个可选指标，并对每一个指标进行了定义，指标的可获取性较强。
　　2.1.5　网络环境中国家公共图书馆统计和绩效测度项目(1999―2000) 目标是制定一套核心的能够用以描述公共图书馆网络化资源和服务使用情况的统计和绩效指标，其成果是《公共图书馆网络化服务统计和绩效测度》手册。
　　综上所述，国外较注重指标体系的研究，且取得了显著的成就，形成了指导实践的成果，不仅应用于图书馆的管理，也影响到数据库商的服务，研究中重视实践的发展，大多数指标比较详细、具体，量的特征明显，可获取性较强，具有一定的实用性。
　　2.2　国内的相关研究
　　国内的研究起步较晚，主要分为三种类型：理论上的探讨、具体指标体系的研究、结合图书馆具体实践的调查和应用研究。
　　2.2.1　理论上的探讨　论述了建立数字资源服务绩效评估指标体系的必要性、意义等，提出了指标体系的构成要素及所函盖的内容，如文献提出了指标体系应当包括管理性、技术性、内容性、服务性等指标，并从理论上进行了论述。
　　2.2.2对具体指标体系的研究这方面的研究较多。研究者从不同的角度提出了适合我国国情的指标体系，并且给出了详细的指标及其描述。文献从设施、使用、成本、服务及用户满意度5个方面来构建评估的指标体系，提出了12个具体的绩效指标，它侧重于数字资源的服务绩效，着重评估数字资源的效率与效能。文献从数字资源的基本情况、成本、售后服务、使用等4个方面设立成3级体系，包括32个量化指标，每项指标都被赋予了不同的权重系数，它侧重于数字资源本身的质量评估。笔者认为前者更具有实用性，因为服务绩效能够反映出数字资源本身的质量。
　　目前国内多数图书馆属于数字资源建设与纸本文献建设共同发展的复合型图书馆，文献提出了一套适用于这类图书馆的指标体系，从数字资源测度、服务测度、管理测度、用户感知四个方面给出了31个指标，并希望通过评估能够促进图书馆达到8个目标。此指标体系比较详细、具体、全面，操作性强。
　　2.2.3　结合调查和应用的研究 该方面研究较少。有代表性的研究是以问卷调查法对国外已有的相关研究总结出22个指标，并在“211工程”高校数字图书馆的适用性方面进行了调查和分析，认为这22个指标基本适合我国国情；有的研究则结合本馆的数字资源使用情况给出了数字资源评价指标体系，实用性较强，但多数侧重于对数字资源本身质量的评价，

对于资源服务绩效评估来说则不够全面。
　　现有的研究只是从某种角度提出了一些评估指标，关于这些指标的科学性还有待于实践的检验。
　　2.3　数字资源服务绩效评估指标体系
　　2.3.1　内容包括数字资源的总体收录情况、学科收录范围、数据来源情况和数据库之间的重复情况等，包括数据库商的售后服务。对于购入式资源，需要评估其收录信息的质量，对于自建式/开发式资源，要考虑选题的新颖性、针对性、特色性，数据内容的准确性、完整性、描述的规范性等。
　　2.3.2　可用性即有用性和易用性。数字资源应当为用户提供足够的信息，具有相当的资源保障率，满足用户的信息需求，并且能让用户简单方便地使用相关设备和系统，检索功能全面、途径多、结果准确，提供无障碍访问。
　　2.3.3　访问情况即用户使用情况，包括登录的时间和次数，检索记录、下载记录的使用成本等。
　　2.3.4　成本包括资源购置成本、设备成本、软件成本、人员的时间成本、培训成本和技术维护成本等。
　　2.3.5　培训 包括对用户以及这些馆员进行宣传、培训的次数等。
　　2.3.6　用户满意度 它本身既是评价的内容和对象，同时也是评价其他指标的手段。
　　
　　3　对绩效分析方法的研究
　　
　　研究者提出了多种绩效分析的方法，主要有：用户满意度分析法、横向比较分析法、纵向比较分析法、使用成本分析法、综合分析法等。还有的提出了对比分析法、引文分析法、利用网络日志分析的方式等。
　　在多种绩效分析方法中用户满意度分析法是一种较普遍和常用的分析方法，它往往是通过问卷调查的方式进行的，主要评估的是用户对数字资源服务的满意程度，是一种个体的定性评价和整体的定量评价相结合的方法，具有客观性、系统性的特点。目前国内多家图书馆采用问卷调查的方式或者通过图书馆主页搜集用户意见，对用户满意度进行评价，但是往往做的不够深入。CALIS有运用用户满意度调查法评估联盟采购数据库的实例，通过这一实例，研究者探讨了用户满意度调查法在数字资源评估中的运用，认为用户利用是资源价值的体现。但是对用户满意度进行评价只是资源服务绩效评估的一部分，它不能代替整体评价。
　　横向比较分析法主要对同类不同数字资源的比较分析，可以确定本馆的核心资源；纵向比较分析法是对同一资源的不同时期进行分析，可以了解其使用规律，采取相应的服务策略；引文分析法主要是通过抽样统计进行评价，具有较好的可操作性。
　　总之，对数字资源服务进行绩效评估比较复杂，涉及的因素较多，单纯的运用某种方法难以对其进行准确的评价，应当根据实际情况采用多种方法进行综合分析，以期有一个比较准确的评估。
　　
　　4　绩效评估的困难――数据来源存在的问题
　　
　　4.1　来自数据库商的统计数据
　　对数字资源进行绩效评估的统计数据主要是来自数据库商，目前部分数据库商能够严格按照COUNTER等相关标准与规定为用户提供规范详细的统计数据。然而有的数据库商则白定标准，数据粗略，给评估工作带来困难。主要表现在：数据库商的统计数据指标定义不明确、统计方式不一致等无法进行相互比较；数据库商提供的信息不完整不全而，并且数据的准确性和客观性难以保证；一些数据商提供不r任何统计报告。
　　图书馆在购买数据库签订协议时，应当要求数据商按标准定期提供准确完整的数据，以便对其评估，进行科学管理。
　　4.2　利用网络日志
　　Web服务器日志记录了接收请求以及运行状态的各种原始信息，可以对其进行统计分析。然而由于资金、技术等方面的原因，图书馆对日志的分析还不够深入，只能获取一些最基本的数据，缺乏对数据的挖掘和深层次的使用。同时文献认为基于Web调查到的统计数据不是完全可信的，因为利用网络调查产生的样本是随机的，用户群体的结构不容易被界定，而且无应答比例往往非常高等原因，都会造成调查表的平均值误差，难以对资源服务作出准确的评价。
　　4.3　图书馆自行搜集数据
　　图书馆建立统一的用户认证与管理系统，就可以通过代理服务器和用户认证服务器两个网关来实现数字资源利用的统计和调查，获得资源利用的统计数据。然而由于图书馆现有的网关都不是专门用于数字资源利用统计和评价的，所以通过这个网关的登录日志文件或业务日志收集到的数据并不是很充分和标准化、规范化，不足以评价数字资源的服务绩效。
　　
　　5　结论
　　
　　5.1　研究中存在的问题
　　研究取得了一定成果，但也存在许多问题，主要表现在：
　　5.1.1　没有形成一套完整的理论体系 数字资源服务绩效评估是一个新课题，它与数字资源质量的评估有不同之处，注重资源的服务绩效。近几年虽然不乏对其各方面的研究，但理论研究还没有实质性进展，还缺乏系统的、科学的研究，没有形成理论体系。
　　5.1.2　理论研究与实践相脱离 比较国内外的研究可以发现，国外在进行理论研究的同时侧重于应用及对实践的指导，研究成果往往形成用于指导图书馆具体实践的文件或标准。国内比较注重理论研究，缺乏应用于具体实践的研究。
　　5.1.3　指标体系缺乏可操作性对绩效评估指标体系的定性分析较多，具体量化研究较少，对指标的获取、统计分析及验证的研究不够具体、深入，实际应用时不便于操作。
　　5.1.4　没有统一的国家标准2004年CALIS出台了《高等学校图书馆数字资源计量指南》，对于数字资源的定义、分类，引进数字资源及二次文献数据库的计量和统计都作了明确规定，但没有涉及到数字资源使用的计量标准，到目前为止还没有形成一套正式的、权威的针对数字资源服务的国家评估标准，以至于在数字资源的建设和服务绩效评估的过程中存在许多盲目性。
　　5.2　需要继续探讨的问题
　　数字资源服务绩效评估是一个综合评价评估体系，从以上的研究分析来看，涉及以下几个方面还需要继续探讨：
　　5.2.1　统计数据的标准化、规范化及其获得模式的研究 评估需要大量的统计数据，对于数据的提交格式、方式、周期和具体的量化指标等等需要进行标准化和规范化，使其具有通用性、可比性。目前并不是所有的数据库商都能提供符合COUNTER标准的统计数据，如何能及时、准确、完整的获得统计数据，对服务绩效进行分析，是绩效评估的关键。
　　5.2.2　评估指标的定量与定性相结合量化指标能够准确反映数字资源的服务现状，但是有些量化指标在实际评估中不便操作，或者无法量化，如科研成果的间接效益、潜在效益、社会效益，需要对其定性分析，然而定性分析往往带有主观随意性，评估中需要定量与定性相结合。
　　5.2.3　注重数据收集分析系统的研发如数字资源利用统计网关的研制、图书馆质量管理软件、绩效评价工具等。国外比较注重一些应用软件工具的研究，如数据图书馆联盟(DLF)的ERMI(Electronic Resource Management initiative)项目，SUSI-II(standardized usage statistics harvesting initiative)项目等，以解决数据的可获取性和规范性问题。国内的研究则较缺乏，致使指标数据的获得存在许多困难。
　　5.2.4　注重应用研究 数字资源服务绩效评估的研究是一个系统工程，理论研究的最终目的是要指导实践，针对不同图书馆、针对具体数字资源服务如何进行绩效评估是值得我们探讨的。
　　面对越来越多的数字资源，制定一个科学、合理又切实可行的评估指标体系，是摆在每一个图书馆管理者面前的紧迫任务。构建科学的评估指标体系是一项系统工程，需要各有关方面的共同努力，最终有效地促进数字资源服务的可持续发展。

转载注明来源:https://www.xzbu.com/1/view-154495.htm