信息系统评价体系及评价方法

侯炳辉等信息系统评价体系及评价方法

:

信息系统评价体系及评价方法侯炳辉程佳惠

¹

曹慈惠1 0 0 OS J )

(北京清华大学经济管理学院

提

要

)本文认为对信息系统的评价应从三个角度考虑 ( l从信息系统主体即系统; 2的建造运行维护和管理的角度评价 ( )从信息系统的客体即用户的角度、、

:

)评价, ( 3从信息系统的环境即系统外部社会的角度评价本文提出了由 2 0.

个指标组成的评价指标体系“

。

提出简单易用的多因素加权平均法评价方。

“

”

法以及层次分析法 ( A H P评价方法 )”

论文介绍了这两种方法对我国宏观

信息系统的评价关键词

。

信息系统

评价体系

评价法

一前管理信息系统的评价历来是一项困难的工作,,。

、

言其所以困难是因为信息系统本身的诸,,,

多特点造成的首先建造信息系统的工程和一般的工程不一样其投资不可能一次性也不可能只是看得见的硬件投资随着系统的建设和运行将有一系列其它不明显的费用投

资 (如开发费用软件费用维护费用运行费用等等 )且这些费用的比例越来越大其二、、、

,

。

,

信息系统的见效有着强烈的迟后性相关性以及不明显性信息系统的见效要在系统建成之后相当一段的使用时间之后而且信息系统的效益和管理体制管理基础用户的使用,,、

、

。

、

积极性用户的技术水平 (尤其是懂得计算机的技术人员 )等具有强烈的相关性、,,,、

。

由此可、

见信息系统的好与坏成功与失败的因素多定性的定量的因素技术的艺术的观念的因素等等交叉在一起于是如何评价一个信息系统就成为复杂的课题,,。

,

、

有鉴于此研究信息系统的科学评价方法无论对促进信息系统的建设加速国家和社会信息化的进程都有十分重要的意义“。

,

本文是在”

19 9 2

年国务院电子办下达的重大软科,

学课题我国信息系统基本结构及开发策略的研究基础上写成的该课题已通过专家评

审

。

二评价指标体系在评价一个信息系统时最重要的事情是建立评价指标体系这个评价指标体系既包,,

、

¹

本文

19 9 3

年

3

月 4日收到

.

丝丝喳绝塑一一一一,

一

中国

管理科学,

舌信息系统开发运行者了,

也就是信息系统主体也包括信息系统的直接用户即信息系统,

,

即环境也就是说评价体系如图 1那样结构其中环内客体更包括对外部社会的影响的竟范围很大从理论上讲对环境的影响可能是无限的时间上如此空间上也如此,。

,

,

。

图

1

信息系统评价结构,

(l从信息系统主 )是信息系统的评价指标体系该指标体系从三个角度来考虑; )体即信息系统的建造运行管理和维护者的角度评价 (2从信息系统的客体即信息系统;的直接用户包括信息系统的上层用户 (决策者 )和基层用户 (管理操作层 )的角度评价

图

2

:

、

、

,

、

3 ( )从信息系统外部社会评价

。

侯炳辉等信息系统评价体系及评价方法

:

信息系统评价

信息系统建设运行{ !对外部影响}}息系统用户信、

开且人}领 !} !l}!可 !}资}} !.投}!重 !}}!引{} R效 !}安}及}实 l准 !I !先管共 l I信}} . ! !友

员 !}{}}理}}}源}} !!资 !}要}!享}导 !i}益 !隐}!全 !} 1用】 !} 1济导进}维!发时}}确好}}务}护结}支{} !!科】日}效}} 1性}I}性}}}性}量 !}}}}性}}}}}性}性}利}情}性}程}}可性I性性}用率】构}}}1}学}1】】{持}性】】况程性 !}}}

度 1】 11 !}靠

特质

度

图1、、

2

信息系统评价指标体系

从信息系统建设运行维护角度评价的指标,,、

目前大多数信息系统的建造者和运行维护者是由信息中心承担的因此我们这里将

信息系统的建造运行维护与管理放在一起考虑

、

。

其评价指标有、

:

人员情况

包括信息系统所配置的人员的数量质量及结构。’

。

足够的数量一定的

,

质量以及合理的结构可保证信息系统建设技师以及运行维护水平

领导支持

信息系统主管领导对系统的建设运行维护的支持是保证系统建设成,、。

、

功的极为重要因素也是系统正常运行生产效益的重要因素,,

因为即使在系统建成后的,,,。

运行过程中仍然可能涉及管理体制的变化也经常需要运行维护费用因此领导不支持

即使建成了一个系统也不会产生足够的效益其至连正常运行都会遇到困难

先进性,

先进性的含义是所建设的信息系统在总体上是先进的

是能产生较大效。

,

益的且具有较长的生命周期,

,

所以这里讲的总体先进性意味着不能只考虑硬件或软件、、、、、

,

的先进性而是指整个系统的方案结构功能通讯使用安装可靠等综合起来是先进

的而不是片面追求硬件指标或软件指标的局部技术先进性.

。

管理科学性

信息中心的良好运行并产生效益不只决定于系统本身管理是极为

,

中国管理科学重要的因素向管理要效率向管理要质量的观念越来越被人接受了所谓管理科学性是,,,。

指是否有完整的规章制度系统运行维护制度等等

、

。

可维护性,

这是明显的一个指标系统的维护扩充修改是绝对的经常的如果,。

,

、

、

、

系统可维护性差则系统的生命力就较差

资源利用程度,,

信息系统集中了许多高附加值的设备 (硬软件及其构成的系统、。

,

以及信息和人力资源这三大资源中最重要的是信息的利用目前有些信息系统的数据库

不能产生效益成为死库、

“

”

,

不能为社会服务这就是信息利用率不高的表示也有一些信,,,。

,

息系统硬件软件设备利用率很低人力浪费这些情况相当普遍和严重(设备人力 、、。。、

因此信息资源

,

信息 )的利用程度应是一个极为重要的指标开发效率这是指信息系统的建设速度一个信息系统从规划可行性研究开始到”系统分析设计实施直到正常运行这个过程称系统建造生命周期我们当希望这个周、

,

“

,

期越小越好

。

但实际上许多系统开发周期比预计的长得多长得见不到效益装上的设备,,,,,。

还未运行就落后甚至于市场上已是淘汰了的产品这不能不说是一个极大的浪费因此在评价指标体系中不能忽视开发效率这一指标

投资情况

是指要建立的系统有合理的投资有些系统功能不多但投资却很大,

,

,

,

尽管这个单位资金雄厚,

“

有钱不怕花

”,

但作为科学的评价而言投资应作为一个指标我,,。

们倾向多办事少化钱也就是说投资效益越小越好

安全可靠

这也是从用户角度来考虑的一个指标其意义是十分明显的,,。

。

以上是对信息系统建造者来考虑的共有

1个指标 02、

从信息系统的用户角度考虑的指标,,。

这里所指的信息系统的用户是直接用户包括领导者和中下层管理者和操作者也有0 1个指标.

重要性,

信息系统对用户来说处于什么地位是不可缺少的呢?还是可有可无的 1,.

是迫切需要的呢?还是不那么紧迫的?这对一个信息系统的用户来说是评价系统的重要

指标

。

如果说一个信息系统的用户认为该系统的建造时机还未成熟经济性,,,

用户使用信息系统需要付费用的如果费用很高用户承担不起或者说,,。

用户感到经济上太不合算情愿用手工管理也不愿意使用信息系统时这个信息系统的吸

引力就不那么强了

及时性。

对信息系统用户来说信息的及时提供并得到使用是用户极为关心的事,,,

,

情由于信息有时效性及时提供信息决策者就可以及时作出决策过时的信息可能是“

,

马后炮”

友好性。

所谓友好性这是一个专用名词是用户使用信息系统很方便要人机界,,

,

面良好的意思,

用户尤其是高层领导通常不太了解信息技术他们需要的是方便越方、

,

,

,

,

便越好比如象使用电视机“”,

“

傻瓜照相机那样方便就好了对用户来说设计的信息系统,。。

”

是一个傻瓜信息系统那是很有吸引力的准确性

信息系统提供的信息必须真实,,

真实性是信息的第一原则。,

。

不真实或不,

够真实的信息要贻误决策尤其是伪信息不如没有信息实用性

建立信息系统的根本目的是实际使用水平再

“

高的信息系统缺乏实

”

侯炳辉等信息系统评价体系及评价方法际使用还不如不建造因此实用性是衡量一个信息系统十分重要的标志对用户来说没,,,

:

有必要关心其技术的先进和复杂的程度他们最感兴趣的是实际使用产生效益也就是,

,

,

在日常事务中对决策和管理的支持

。

安全可靠性

这也是信息系统建造者的一个指标对用户来说同样重要。

,

。

信息量,

所胃信息量是指信息系统能提供的信息的数量信息量太少信息系统效。

,

率不高实用性也随之下降

从用户角度考虑应有尽可能多的信息量,,

。

效益性

。

从用户来说信息系统能产生的经济效益和社会效益越大越好由于信息,,

。

系统的效益评价的困难性也许这个指标很难用定量描述用定性描述也很困难尤其是

社会效益眼务程度

这里主要是指对各级管理人员和决策者的服务程度对用户来说信息,

。

系统应是他们最好的服务工具信息系统应积极主动的做好服务工作尤如其它服务业一样信息系统应全心全地的热情为用户眼务,。

;

、

,

以上 1 0,

个指标主要是从用户角度考虑的可能有遣漏或重复指标之间存在相关性。

,

,

或矛盾性但这不影响评分3、

从信息系统对外部影响考虑的指标,,,

任何一个信息系统的建设必然对外部产生影响这种影响也很难定量描述需要定性

打分使定性问题定量化共有

,

6

个指标

:

共享性,

即本系统信息的共享程度信息系统之间共享性是一个重要指标目前我,,,

,

国在这方面的重视不够竿复建造的现象不少一个信息系统的信息主要为本系统服务。

,

自产自销缺乏市场效果信息必须走向市场如其它商品一样只有放到市场上去以后才能增加其附加值

,

,

。

引导性

这里讲的引导性是是指示示范引导的意思某一信息系统的建设应对未,,,、

建系统产生示范引导作用这从一定意义上来说也具有市场性质无论是建造经验开发方法以及具体的技术方案都应放到市场上去供大家借鉴使用

,

,

、

。

重要性,

这里讲的重要性是对外部环境而言的有些信息系统如气象信息系统对,、

。

,

外部环境影响很大农业交通航海人民生活等等几乎所有领域产生影响息系统对国民经济社会发展治安交通供应等产生影响 、

、

、

。

又如人

口信

、

、

、

。

效益性

指本系统对外部社会产生的社会效益和经济效益

。

信息量服务程度

本系统对社会提供的信息量,

。

本系统对社会服务的态度及程度

。

从上述三个角度考虑的指标共 2个组成指标体系 0、

。

三多因素加权平均法评价方法

—在我们研究的国务院电子办下达的项目中得到了成功的应用首先把上述 2项指标列成表 0,,

这里我们介绍一种简单易

用的综合评价方法l

多因素加权平均法评价方法,

。

该法:

现在我们把它介绍如下

所示的最上层然后请专家对每个指标按其重要性打l

,

一个权重权重最高分为 1分最低为 0

分再请每个专家分别对被评价系统的 2个指 0,

中国管理科学标打分最低分,

1

分其打分表见表专家打分表

,

1

。

表指

1

专家权重

:

及重实准及友经安信效月投开资人共先管可领引

标

要用确

日寸

好济全息益务资发源员享进理维导导

评分

性性性性性性可靠性

量性

程情效利情性性科护支性

度况率用况率

学性持性

权重 w(满分 1 0

分)

评分 X(满分 1 0分 )

专家权重是指专家的权威性权值大小由评价者根据专家的知识面和经验丰富程度

,

决定下:

。

根据几个专家的打分表以及专家本人的权重求得每个指标的权重值计算方法如,

,

(l )

求第 j个指标的权值 (加权平均值 )w=J.

J

j w其中

艺w‘

‘J

.

.

曰艺瓦

j一 1 2… 2…,,,

(l )

w一第 j个指标的权值 (加权平均值 )w j一第i

个专家对第 j个指标的权重打分值

瓦一第 l个专家的权值P一专家数

2 ( )求第 j个指标的评分值 (加权平均值 )X j J x一

,艺x.

j

.

E

了

艺甄

j一 l 2… 2…,,,

(2 )

其中

x

厂第 j个指标的权值 (加权平均值 )。

x

j

一第 i个专家对第

j个指标的权值打分值2

瓦一第 i个专家的权值

) )由式 (1和 (2我们得到如表

表所示的矩阵表

。

侯炳辉等信息系统评价体系及评价方法表指2

:

指标权重及指标打分表

重实准及友经信效服投开资人共先管可领引要用确时好济息益务资发源员享进理维导导

综合评分分

标评分

性性性性性性量性程情效利情性性科护支性度况率用况率学性持

性

Wj X

J

(3求该信息系统的综合加权平均值 A )^ j一

j一

艺wl

』.

x

J

/

j一

艺w1

j

(3 )

其中

A

一某信息系统的综合评分值

wxJ

厂第 j个指标的权值加权平均一第 j个指标的评分值 (加权平均 )

表分数10 99 8 8 7

3

等级极好系统优秀系统

6 6 54 4 3

一般系统

差系统

22 l

极差系统

显然专家数越多越好 (样本数越多 )评价愈接近实际综合评分越高说明系统越好,。

,

。

0综合评分不可能达到 1分也不可能为,

l

分

。

我

们规定综合评分达到

,

9

分以上者为极好系统

;

8

分以上

9

分以下的为优秀系统

,

6

侯炳辉等留国管理科学系及评价方法中

:

、

分以上统;

,

8

分以下为良好系统,

;

4 3

分以上所示,。

,

6

分以下为一般系统津分以上,

,

4

分以下为差系,

2

分以下为极差系统如表4,

若同时评价若干个可比系统则这种方法也是可用的但计算将会复杂些专家的打分表将会改成如表那样每个专家打一张打分表,

。

然后首先求出每张表 (即每个专家打

、,:分的表 )对每个信息系统的加权平均 A计算方法如下,

表

4

多系统评价打分表

专家权重指标 n

指标权重 W.系统 l(分 X )评

l

指标 2 Wix一 4

加权平均分A.

W,

-

W

二

x l-

枯x

系统

2(分 X评

公

x Z一

x

幼

劫

系统 m (评分 X刁

耘 .l

又. 4

、

声

,人一艺w

.

。

.

、/

艺w

。,

:

一1:,

,

… m,

其中

人一第w一第川

.

‘

kk

个专家对第 i个系统的加权平均分个专家对第 j个指标权值,

盆”

mn

个专家对第 i个系统第 j指标的打分值一被评价信息系统数一第k

一指标项数p

若专家有

个则p

,

p.

个专家对第 i个系统的综合评分为p

:

j A z其中

一

万戈

,

瓦/

艺瓦

,

‘ 1一

,

… m,

A Z一p.

个专家对第 i个系统的综合评分值k

人j第乓一第召

个专家对第 i个系统的加权评分

k

个专家的权值,。

P一专家数

将所有 z A求得后进行由大到小排序得到各系统好坏的排序表程序流程图:

多因素加权平均法评价多个信息系统的方法的程序流程图及程序如下

.

侯炳辉等信息系统评价体系及评价方法

:

开始指标项数 X T S

愉人信息系统数Z JS,

、

专家数目

、

,

ZBS

计算 P个专家权重之和T .盈一 I

X Z W( ) k

计算专家对 n项指标权重之和T

( T习

二

l一 t

Z即(, k l )

计算每张表 m个系统的加权平均分A

( I, K)

,

J一l

X w( K

,

刀

*

( X

I

,

) J/ TT K ( j

计算每个系统的综合平均分Z刁仍 . 2月( K,

乃

*

Z,

(k/ )

T

综合平均分降序排序生成数据文件 D,

ATA3

}、

杏结束

四层次分析法 (A H P评价方法 )层次分析法是一种实用的多准则决策方法用于解决难以用其它定量方法进行决策的复杂系统问题AHP。

,

它将定量与定性相结合充分重视决策者和专家的经验与判断将决策,

、。

,

,

者的主观判断用数量形式表达和处理大大提高决策的有效性可靠性和可行性法非常适合于信息系统的评价尤其适合于多个信息系统的比较,,。

因此

但是 A月 P法要比软件不需自己,

前述多因素加权平均法评价方法的技术要复杂些目前已有现成的

AHP

中国管理科学

编写程序鉴于

。

AH pt r

法本身有众多介绍这里不再赘述f e o c so w t fa

,

。

我们使用的

A HP

软件称专家选择软。

“

a e a k e P c g )简称 E c这是美国弗吉尼亚决策支持软件公司 (D,“ i c幻o n S P o s f w a功 )开发研制的我们在使用时进行了改进及完善 u r o t r t c E采用图形建模人机对话的直观生动模式并有许多辅助功能如联机帮助窗口分析等

”件包 (E p x e

h C

e r

,

,

,

,

,

。

我们用

A HP

法对 3个国家级信息系统进行评价和排序结果表明 5,,

,

AH P

法和多因素。

加权平均法评价方法基本一致这两种方法互相配合和验证以提高评价结果的可信度、

五结束语信息系统的评价是一项困难而重要的课题目前这方面的研究和实践还很少这首先,,

是因为我国信息化不发达所致但随着信息化的进程信息系统越来越多对信息系统的建造应用以及对外部影响的评价将愈益重要,。

,

,

,

本文来源：https://www.bwwdw.com/article/64lm.html