信息系统评估方法介绍
重大专项研发部 张跃军 2010-03-18
随着信息革命的不断推进,整个世界各领域的信息呈现出了日趋激烈的爆炸式增长,为了管理及利用这些信息,各个领域都出现了许多功能多样的信息系统,并且随着信息的膨胀,这些系统也在不断地趋于复杂化。这种情况下,系统在规定条件下和规定时间内完成规定任务的程度就成了一个很重要的问题,因此系统的效能就是对系统所具有能达到规定任务要求能力的度量。系统评估是研究系统的效能特性及其获取系统最大效能的一门科学。系统效能是完全不同于费效比以及性能的一个独立概念。系统费效比是指费用与效果的比值,反映出系统的投入与产出的比例关系;系统性能是指系统能够发挥表现出的处理能力。而系统的效能不仅是其所具有的内在的执行任务的能力,而且是在系统的全寿命周期中围绕系统的一些活动所取得的效果,也称之为系统的效能。因此系统效能评估是对系统的标称能力与实际能力匹配程度的全面评估。通过对复杂信息系统进行效能评估,可以量化系统标称能力与实际能力的匹配程度,发现系统现状与实际使用需求之间的差距。这些量化后得到的差距数据就可以为系统需求的改进和后续系统的规划、设计、运行、管理和维护提供有力的理论基础;同时这些数据也为系统运行、管理和使用提供了参考模型,为系统日常维护和状态监控指明了关注要点和改进方向。对这些复杂信息系统进行效能评估之后,就能有针对性地逐步优化系统的体系结构和配置,提高系统的运行管理水平,以需求为向导显著提高系统的运行效益。
评估方法有广义和狭义两种概念，广义概念包括评估准备、评估设计、信息获取、评估分析与综合、撰写评估报告等评估活动全过程的方法，狭义概念特指评估分析与综合的方法，本文中所提到的评估方法为狭义概念。
1评估方法的选择和应用
选择评估方法时，评估者应首先在成熟、公认的方法中进行恰当的选择，如果由于评估活动的特殊性，没有采用成熟、公认的方法，必须在评估报告中加以说明。
1.1评估目的与评方法的匹配
评估方法是实现评估目的技术手段，评估目的与方法的匹配时体现评估科学性的重要方面，正确理解和认识这匹配关系是正确选择评估方法的基本前提。评估的实践表明，评估目的与评估方法之间的匹配关系，并不是说评估的特定目的与特定一种评估方法之间的一一对应，而是指对于特定的评估目的，选择高效、相对准确合理的评估方法。
1.2评估方法的合理替代
由于客观条件的限制，以及各种评估方法对于实现评估目标的相对合理性，有经验的评估者必须了解评估方法的合理替代原则。
首先考虑评估方法的内在约束，考虑不同方法的评估角度和评估途径，例如：对于大型计划的绩效评估，原型案例研究法和数理统计方法在一定条件下可以相互替代：除了受内在约束外，评估方法的选择和替代还有受外界的制约，包括可以获得的信息、用户的理解和接受程度及掌握方法的难度等。
1.3“内在约束优先”的原则
不论是评估方法的选用还是合理替代，都应遵循“内在约束优先”的原则。所谓“内在约束优先”的主要概念是：评估的选择应该首先考虑评估活动自身的因素及其对评估方法应用的影响，这些影响形成了评估方法选择的内在约束。例如：目标约束是评估方法选择的最重要的内在约束，如果评估活动的目的在于帮助投资者在一批申请项目中进行筛选，通常可采用多指标综合评估方法进行分类排序；如果评估活动的目的是回答某些质疑，可采用问题诊断的指标框架和典型案例研究的评估方法。
1.3.1定性和定量方法相结合
定性和定量方法相结合是评估方法应用的基本思路，然而在实践中如何具体实现定性和定量方法的结合目前尚无一定之规。
1.3.2定性信息结构化
评估中虽然收集了大量的定量信息，但定性信息仍然是重要的，包括各种文件、管理规范、各类总结材料、已有的评估论证报告及调研会议记录以及调查问卷中的开放性问题等。评估者可以对定性信息进行收集、加工和整理，将定性信息进行重新编码，是其结构化。
1.3.3结构化面访
结构化面访是评估中常用的一种调查方法。根据统一设计的面访提纲和问卷，采用多项选择的问答方式，分头进行面访调查，所得的调查信息具有相同的结构形式，使定性信息结构化。
1.3.4定性—定量信息的相互转换
在表达评估结果时，可以根据需要进行定性一定量信息的转换转换。评估结论的表达方式取决于表达的内容以及用户的要求。有时将定性问题定量化处理后表达比较明确，有时用定性语言概况表达定量结果更为适宜，有时则需要两者同时使用。
2比较研究
比较研究是评估的基本方法之一，也是评估活动的基本思维框架。比较研究评估方法可以进行前后对比、对照组比较、多角度比较,最后得到对信息系统评估的综合效能。
2.1前后对比
前后对比法是通过大量的参数比较，将被评对象（政策、计划、项目等）执行前后的有关情
况进行对比，从中活动评估的依据。这种方法是将事前和事后可以衡量的指标值进行比较，用指标的变化回答评估的问题，如效果、影响等。应用前后对比法的主要困难在于如何将被评对象所产生的效果和其他外在因素、偶发事件、社会变动等所造成的效果加以明确区分。
2.2对照组比较
该方法是“控制对象—实验对象”的对比分析方法，是社会实验法在评估中的具体运用。以政策计划的实施效果评估为例，运用这种方法进行评估时，评估者将政策计划执行前的同意评估对象分为两组，一组为实验组，即对其施加影响的租，另一组为控制组，即不对其施加影响的租，然后比较这两组在政策计划实施后的情况以确定实施效果。
2.3多角度比较
针对一个问题，通过多渠道、多角度、多种类的信息的比较分析，综合评价，获得评估的结论。以机构的绩效评估为例，可以将反映机构产出（成果、专利、论文）的客观数据和有关方面的主观感受（机构内部员工的感受，同行专家的评价等）进行比较分析，还可以将被评对象的自评意见和评估实地考察情况进行对照。
该方法适合用于涉及面广，因素复杂的评估对象。通过各方面信息的相互补充、相互检验，可以减少信息的误差，提高评的可信度。
3多指标综合评估方法
多指标综合评估方法对信息系统进行多指标的综合评估,并且进行指标值的确定及其规范化, 指标权重的确定，计算综合分值，最后得到对信息系统的综合效能。
多指标综合评估方法是信息系统评估中的常用方法，尤其是对于群体评估应用比较普遍。由于不同指标的综合、折衷、平衡中主观因素的影响，所得结果只能是合理的、满意的，不存在客观上的最优。对于多指标评估问题，只是应该从非劣方案（非劣解）中寻优。某一方案称为非劣方案，是指不存在所有指标都由于该方案的选择。
3.1指标值的确定及其规范化
在评估指标体系建立后，每一个评估指标都应制定具体的标准和统一的计算方法。其中可用金额、人数、时间、重量、体积等计量的指标，可进行定量评估，对社会影响可作定性评估的描述。由于各个指标的含义、测量量纲以及取值优劣标准不尽相同，为了能够对评估对象进行多指标的综合评估，有时要将各种指标值转化成一个相对统一的尺度，这一过程称为指标值的规范化，其实质就是把不能相加或相乘的指标值转化成可以汇总相加或相乘的综合指标值。
在评估问题中，有时某些定性指标的值无法通过定量的方法得到，必须由专家的判断决定，该方法通常分数、序数，评语等作为评估的指标值，依此作出总的评估。专家打分时应尽量保证所有的指标值属于同一类型，即同分数或同为序数，若有不同的，应将其转化成同一类型，以利于综合评估。
3.2指标权重的确定
在多指标的综合评估问题中，各个指标对于评估总目标的影响和作用大小的重要程度不同。为了正确反映这一客观事实，需要对指标赋权。加权理论在国内外都有广泛的研究和应用。 关于权重系数的获得主要有专家咨询法（Delphi）、层次分析法（AHP）、二项系数加权法、环比评分法等。其中比较有代表性的且应用较多、较成功的主要有AHP和Delphi法。AHP将专家的思维过程定量化，并且可以通过一致性检验处理专家意见不一致的情形。Delphi法也是常用的一种方法，它具有匿名性、反复性、统计性三大特征，较好地克服了主观因素的影响。
3.3计算综合分值
应用综合评分法计算综合分值，就是利用每个评估对象在各个指标上的得分（首先进行规范化），按照不同的方法得到一个综合得分，据此对所有的评估对象排出优先次序。计算综合的方法主要包括加权加法评分法、修正加权法、乘法评分法和加乘评分法。方法的选择可以根据相应的评估问题的具体评估指标体系来确定。目前信息系统评估中采用较多的是加权加法评分法。 4运筹学方法--层次分析方法
层次分析法简称AHP方法,此模型是对系统的指标体系进行分层次的综合,并且进行归一化处理、一致性分析,最后得到系统的综合效能。AHP方法将决策问题分为三个层次,即目标层O、准则层G和方案层P。每层有若干元素,下一层的元素会对上一层的元素有影响,通过相互比较确定各准则对目标的权重,各方案对每一准则的权重;将这两组权重进行综合,确定各方案对目标的相对权重。AHP方法将定性分析与定量分析结合起来,给出了决策问题的定量结果。 层次分析法的步骤如下:
a)建立层次分析结构模型。深入分析实际问题,将有关因素自上而下分层(目标—准则或指标—方案或对象),上层受下层影响,而层内各因素基本上相对独立。
b)构造成对比较阵。用成对比较法和1~9尺度,构造各层对上一层每一因素的成对比较阵。 c)计算权向量并作一致性检验。对每一成对比较阵计算最大特征根和特征向量,并作一致性检验,若通过,则特征向量为权向量。
d)计算组合权向量(作组合一致性检验)。组合权向量可作为决策的定量依据。
例如设定一个需要达到的目标作为目标层,从对目标发生影响的各种因素中选出合适的因素作为准则层G={G1,G2,?,Gm},现需要从方案层P={P1,P2,?,Pn}中选出最佳的方案。首先利用成对比较法,参照1~9尺度,构造出m个准则对于目标的权重向量A=[a1,a2,?,am],并且有=1;然后构造出矩阵B,其中bij表示第j号方案对第i个准则的权重,因此有bij∈
(0,1)(i=1,2,?,m;j=1,2,?,n), =1。令综合决策矩阵X=A×B,这个矩阵乘运算中还需要进行一致性检验,保证前后判断的一致性,乘积X就是准则层对目标层的权重与方案层对准则层的权重构成的组合权重,能反映出方案对目标的影响程度。之后求出xk=
最佳方案。 {xj},对应的Pk即为
5模糊综合评估方法
模糊综合评价法是将模糊数学应用于目标评价而形成的方法,它根据评价对象和评价目标要求建立起模糊矩阵,通过一系列的判断、推理、论证,由最佳隶属度原则得出可靠结论的一种评价方法。用模糊数学进行综合评判,包括三个方面的内容,即系统分析、模糊数学进行处理和计算机运算。
例如需要对某个复杂电子信息系统进行效能评估,在对评价指标及其模糊性进行综合分析的基础上,可以建立如下的评价因素集U={U1,U2,?,Un}。其中:Ui代表第i个评价因素。然后建立起评价等级集V={很好,好,一般,不太好,不好},接着就可以确定评价矩阵P={Pij}n×m。其中:Pij为第i个评价因素评价等级为j的比例;n为评价因素数;m为评价等级数。通过专家调查法等取得评价指标的权重向量w={w1,w2,?,wn},且=1,计算模糊决策集D=w×P。各方案的模糊决策集计算出后,将决策集中很好、好及一般的三者相加,即得到综合总评分。
6基于计算机技术的评估方法--神经网络评估方法
人工神经网络方法是一种以人的神经学习为基础的新方法,通过模拟人的神经过程,从而实现自主学习的功能。目前使用最广泛的BP网络由三层神经元组成,这种三层的BP网络可以实现以任意精度逼近任意连续函数,也就能够通过这种网络寻找到最优解。这种方法的基本步骤如下: a)初始化,置所有权为随机任意小。
b)模型参数的确立。复杂电子信息系统效能评估模型由一系列表征系统运行效能及其因果关系的特征参数、过程因子和征兆现象构成,特征向量的选取依据基于征兆的推理获得。
c)提供训练集。提供连续的输入变量x1,x2,?,xn和所期望的输出结果y1,y2,?,yn,训练集的取得是根据实际使用人员和专家的体会以及经验确定。 d)定义输入/输出的关系: Opj={1+exp}-(+θj)
其中: Opj为模式p网络节点j的输出;Wij为节点i到j的连接权值;θj节点j的阈值。
e)调整权值
ΔWij=ηδpj×Opj
其中:η是学习速率;δpj是节点j的误差信号。对输出层节点j,
δpj=(ypj-Opj) Opj (1- Opj )
对中间层节点j有
δpj=WkjOpj(1- Opj)
其中:δpj为节点j上一层节点k的误差信号,Wkj为节点j到上一层节点k的连接权值。 f)将得到的权值以及阈值记录到知识库,多次训练BP网络,使权值以及阈值稳步趋向最优。 在将人工神经网络的方法用到信息系统效能评估时,首先将系统各种设施的状态以及系统接口的信息作为征兆参数,以征兆参数为模型的输入,将系统处理输入信息的各种功能作为模型的隐层节点,这些节点反映了系统征兆参数影响系统效能表征参数状态和权值的传递。模型的输出是系统效能的各种表征参数,这些参数有一定的动态变化范围,根据预先定义好的正常变化范围及相应的效能等级,就可以观测出当某些征兆参数发生变化时,系统当前的表征参数变化情况,从这些变化中得到系统当前的效能等级。
7总结
以上是几种比较有效的信息系统评估方法，还有较多评估方法，由于时间和精力关系未收集整理，希望这几种方法能对大家在做项目评估时候得到有益的帮助。同时希望大家能在工作中与时俱进，共同提高。
第二篇：20xx信息系统运行维护评价和改进方案
信息系统运行维护评价和改进方案
通过对20xx年信息系统运行维护进行评价和改进，在新的一年中对信息系统做了新的评价和改进，并在上一年的基础放发现一些地方的不足，总结经验，发现不足并提出新一轮改进方案，并落实到实处。
一、目的
通过科学的质量管理，建立正常、严谨的工作秩序，确保信息质量与安全，杜绝系统安全事故的发生，促进医院信息系统（HIS）信息技术水平，管理水平，不断发展。
二、目标：
通过检查、分析、评价、反馈、整改等措施，达到信息系统质量持续改进，以不断提高我院系统服务质量水平，保证信息系统安全。
现对我院信息系统运行维护进行评价和改进的方案如下： 一.pacs系统规范化使用
目前放射RIS系统只有登记收费费，简单的放射报告系统， 缺少分诊、影像诊断报告以及放射科的各项信息查询、统计等基于流程管理真正意义上的医学影像信息系统，在现代医疗行业，医学影像信息系统应包括了RIS，以DICOM3.0国际标准设计，以高性能服务器、网络及存储设备构成硬件支持平台，以大型关系型数据库作为数据和图像的存储管理工具，以医疗影像的采集、传输、存储和诊断为核心，是集影像采集传输与存储管理、影像诊断查询与报告管理、综合信息管理等综合应用于一体的综合应用系统，主要的任务就是把医院影像科日常产生的各种医学影像（包括核磁、CT、DR、超声、各种X光机等设备产生的图像）通过DICOM3.0国际标准接口以数字化的方式海量保存起来，当需要的时候在一定的授权下能够很快的调回使用，同时增加一些辅助诊断管理功能。在异地访问时同时具备唯一性和安全性。在检查结束后能实现快速调阅、易观察、易诊断的效果。
pacs/RIS上线后体现了一系列改进主要突出在以下方面：
1. 院性 PACS 需要连接放射科和其他检查科室（包括支持 DICOM3.0 接口和不支持 DICOM3.0 接口）的影像设备，需要配置高端的存储设备，对全院网络的要求也比较高，因此全院 PACS 的投资和实施难度都比较大，但相应的效益也
是最大的。实施全院 PACS 系统后，既满足取消胶片的要求，直接节省开支，同时影像能够在全院范围内流通，直接提高影像的使用效率和应用面。
2. mini-PACS 是单独连接检查科室的 PACS 系统，在科室内部实现工作流程数字化。该系统提供功能强大的影像诊断软件和检查流程管理软件，能够显著提高检查科室的工作效率和管理水平，提高医生的诊断水平，出具图文并茂的检查报告。
3. PACS 影像工作站提供了图像查询、获取、显示、调整、测量、存档、胶片打印和报告撰写等完备的功能，完全满足影像科室的需求。并且能与 HIS 系统紧密融合，尤其和HIS 能做到无缝集成。
4.叫号分诊取片系统让整个流程更加快捷高效。
二. 门诊分诊系统
在门诊分诊系统使用前主要突出三个问题
1.病人排队时间过长容易产生争抢。
2.影响医生就诊时间和检查速度，导致候诊时间拖长
3.医生因工作效率受到影响，工作时间拖长。
门诊分诊系统上线后完成了一下改进
1.病人可清楚地知道自己的队列位置，不再反复询问导医，减轻就诊压力。
2.医生检查速度加快，候诊时间减短，工作量得到平均分配。
三.中心机房的维护和改进
中心机房做为医院信息系统的处理中心，要对环境条件严格控制，应使其在室内温湿度、人员等严格要求。我们的具体做法是，将温度置于25度左右，相对湿度为30%~70%，无人员流动、无尘的半封闭环境。由于网络中心设备对其所处的环境条件参数极为敏感，他需要特定的温度、湿度和洁净度来保证其高效的运行，如果上述条件不能满足的话，将引起数据失真、丢失甚至设备完全停止工作，我们选用的是CANATAL机房恒温恒湿专用空调，就是考虑到如何来满足主机房内设备对环境特殊的要求，这种空调带带有先进的微处理控制板，模块化设计、能效极高、可随时更换的过滤器。
同时我们对中心交换机进行相应的更换，我们使用的是H3C全千兆二层交换机，核心交换机的主要特征是，高性能业务、高安全性、高可靠性、丰富的业务能力。有效的承载了服务器和客户端的大数据传输。
日期：20xx年 负责人： 组织人：