基于科技创新人才信息平台数据挖掘的科研能力评价模型研究

Vol.27No.1Jan.2011

科技通报

BULLETINOFSCIENCEANDTECHNOLOGY

第27卷第1期

2011年1月

基于科技创新人才信息平台数据挖掘的

科研能力评价模型研究*

吴小妹1，陈敏玲2，3*，缪仁炳4

（1.浙江金融职业学院，杭州310018；2.浙江省科技干部培训中心，杭州310007；

3.浙江天正信息科技有限公司，杭州310006；4.浙江工商大学工商管理学院，杭州310018）

摘要：通过对科研能力评价指标体系构成相关研究的分类回顾与梳理，提出了评价指标设计原则，逐

步搭建了一套包含三个层面的科研能力评价指标框架。通过专家访谈和问卷调查的方式，对初步建立的评价指标框架进行修正。运用层次分析法、专家咨询法得出各指标的权重。为了保证指标评分的准确性，对各指标项下的不同等级选项进行了归一化处理，最终完成科研能力评价模型的构建。关键词：科研能力；评价模型；层次分析法；信息库；数据挖掘中图分类号：G311

文献标识码：A

文章编号：1001-7119（2011）01-0154-07

ScientificResearchAbilityEvaluationModel：AResearchBasedon

DimmingtheDataofScientificInnovationTalents

WUXiaomei1，CHENMinling2，3*，MIAORenbing4

（1.ZhejiangFinancialCollege，Hangzhou310018，China；2.ZhejiangTrainingCenterofScienceandTechnology，Hangzhou

310007，China；3.ZhejingTopcheerInformationTechnologyCo.Ltd，Hangzhou310006，China；4.CollegeofBusiness

AdministrationZhejiangGongshangUniversity，Hangzhou310018，China）

Abstract：Thispaperpreviewedtherelatedresearchoftheevaluationindicatorsofresearchcapability.Thenitputfor-wardthedesigningprinciplesofevaluationindicatorsandgraduallybuiltasetthatcontainsthreelevelsofresearchca-pabilityevaluationindicatorframework.Itamendedtheinitialestablishmentoftheresearchcapabilityevaluationindica-torframeworkthroughexpertinterviewsandaquestionnairesurveyapproach.ThoughAHP，expertadvicemethod，thepapergetstheweightofeachindicator.Inordertoensuretheaccuracyofindicatorscores，thepapernormalizedthevari-ousindicatorsatdifferentleveloptions.Andthepaperbuilttheresearchcapabilityevaluationmodelfinally.Keywords：researchcapability；evaluationmodel；AHP；informationdatabase；datamining

0引言

在科技创新的委托代理关系中，科研能力评

进行跟踪评价将有助于提高科研项目委托的有效性，取得良好的投资效果。

浙江省在大力组织实施“百千万科技创新人才工程”的背景下，着手组建浙江省科技创新人才信息库（以下简称信息库），本研究拟基于人才信息库数据挖掘，构建科研能力评价模型，可以使信息库中散而广的信息进行有效整合利用，集

价问题一直是困扰科研委托方的难题，现行的依赖评估申请书与可行性报告的方法在诸多方面存在问题，建立人才信息库，并进行多维信息积累，在此基础上对科技人才及其团队的科研能力

收稿日期：2009-09-07

*基金项目：浙江省科技计划项目（2006R30001）

作者简介：吴小妹（1981-），女，浙江文成人，硕士，讲师，主要研究方向人力资源；

*通讯作者：陈敏玲（1961-），女，浙江桐乡人，高级工程师，主要从事计算机应用与科技管理。E-mail：zrkbchen@

第1期吴小妹等.基于科技创新人才信息平台数据挖掘的科研能力评价模型研究155

聚、提升为有规律性的可用的科研能力信息，使有关政策有的放矢，为科技人才管理提供有用的决策信息，更好地为科技人才管理决策服务。

科研能力的影响因素不仅受个体因素的影响，还受到科研积累、团队与环境等诸多因素的影响。因此，对个体进行科研能力评价仍鲜有采用人才测评或胜任力模型方法，目前大多采用绩效推断法，即采用他们的工作成果来推断他们的能力，但是这一方法在全面性方面仍存在不足，并没有考虑到团队、环境等因素的影响。本文拟挖掘科技人才信息库中各科研人员的工作成果积累、团队、资源等多类信息，采用AHP———层次分析法建立科研能力评价模型，并将相关参数输入信息库软件，形成评价模块，从而做到科研人员研究能力批量、实时跟踪评价的目的。

从论文、专著、专利、承担项目、科技成果奖励以及人才培养等方面总结评价指标［6-10］；三是着眼于创新资源提出评价指标，这一观点认为科研创新能力的强弱与参与科研的人力资源和设备资源等相联系，资源越丰富，能力越强，主要从人员的水平层次、人员的多少、研究设备、设施等方面提出评价指标［2-5］。

本文综合借鉴以上三种观点，结合人才信息库数据结构特点，将科研能力评价指标分为三个方面，从产出角度提出能力表现大类指标，从投入与资源结合的角度提出能力层次大类指标，从资源角度提出能力资源大类指标，并在总结各种文献与小范围内征询有关专家意见的基础上提出如图1所示的科研能力评价指标体系的初步框架。

1.3专家访谈修订指标

通过专家访谈和问卷调查的方式对图1所

1

1.1

科研能力评价指标体系构建

抓住评价信息特征，确定选择指标原则本研究的主要评价对象是人才信息库中的

示的指标框架进行了修正。指标框架中对二级

科技人员。信息来源必须受制于人才信息库的特征与结构，因此，在设置评价指标项的时候要充分考虑信息库中的数据特点、数据结构与数据的可运算性。在此基础上，本研究在选取指标时，提出战略层面要坚持系统性与科学性的原则，即充分考虑科技人员科研能力的综合性影响因素，选取多层面指标，坚持现有广为认同的层次分析法（AHP）进行分析，从而保障评价过程与结果的系统性与科学性，从操作层面要坚持可测性与可操作性原则，即所选取的指标必须可以在人才信息库中取得可量化的数据，具有可测性，所选择的指标信息必须能够从科技人员的科技活动中获取、存储、分析的，具有可操作性。

专利类别

—作者排名能力表现A

奖项类别

获得奖项A4—作者排名

获取专利A3

归属级别

采纳级别

研究报告A5

作者排名字数

—————————

———————————————————————————————————————————

论文级别作者排名

发表论文A1

论文字数

论文索引收录等级

—————————

出版社等级

发表专著A2作者排名

专著字数

—

项目资助A6

资助级别—作者排名

1.2初步拟订指标框架

本研究通过对组织科技创新能力评价和个

能力层次B专业技术资格B3—专业技术资格等级

硕/博导师B4—是否硕/博导师

院士/特级专家B5—是否院士/特级专家培养中硕士C1—培养中硕士生数量

人科研能力评价的诸多文献与科研成果的梳理，归纳了科研能力评价指标体系主要来源的三个方面：一是着眼于创新投入提出评价指标，这一观点认为创新能力的来源在于创新投入，投入越多，创新能力越强，主要从资金投入、人员构成等方面提取评价指标［1-6］；二是着眼于创新产出提出评价指标，这一观点认为原来的科研创新产出反映了科研与创新能力，产出越多，能力越强，主要

图1

—

—————————————————————————

学位B1—学位等级学历B2—学历等级

能力资源C培养中博士C2—培养中博士生数量

稳定团队成员C3—稳定团队成员数量基于信息平台数据挖掘的科研能力评价指标体系初步框架

Fig.1Theinitialframeworkforresearchcapabilityevaluationindicatorsystembasedondimmingthedateofscientific

innovationtalents

156

科技通报

表1

专家判断矩阵表

第27卷

指标的发表论文指标下设的论文级别、作者排名、论文字数和论文索引收录4个三级指标，大部分专家指出在论文级别中已经反映了论文索引收录情况信息，因此，删去了论文索引收录指标。最终确定了由3个一级指标、14个二级指标、24个三级指标组成的评价指标框架。从数据挖掘角度考虑，这个框架基本包括了科研能力的不同侧面。

从图1可以看出，部分二级指标下无需再分三级指标，但为了表述方便，本文把这些二级指标的评价要素也列在三级指标栏下。

能力表现（A）能力层次（B）能力资源（C）

Table1Comparisonmatrixoftheexpert

能力层次（B）

能力资源（C）

能力表现（A）

11/31/3

311

311

=0<0.1，权重有效。

其中，C.I.=λ-n，C.R.=C.I.，R.I.为修正值

（n=3时，R.I.=0.58，系查表所得）。

（2）对专家群体的意见进行综合

表2

一级指标权重及CR值

2评价模型建立与参数估计

建立评价模型普遍采用以下几种方法：层次

Table2

专家序号

TheweightandtheCRvalueofthefirstlevelindicatorsA0.60000.63330.67680.07820.71430.64790.68140.72350.72350.77980.6259

B0.20000.10620.19250.48660.14290.22990.21600.08330.08330.13740.1878

C0.20000.26050.13070.43540.14290.12220.10260.19320.19320.08280.1863

CR0.00000.03340.08240.01090.00000.00320.00230.05670.05670.0304/

分析法（analyticalhierarchyprocess，简称AHP法）、模糊综合判断法、密切值法、灰色关联度分析法以及数据包络分析方法等等。比较各种方法，结合本项目的实际情况，本文采用层次分析法来构建评价模型参数。

12345678910

均数

2.1科研能力评价模型指标权重的确定本文运用层次分析法确定权重，采用问卷调

查和访谈的方式，请专家们对评价指标框架中各指标进行重要程度判断。根据层次分析法的基本步骤，构建了判别矩阵，计算各个指标的权重。本文仅列出其中一位专家的一级指标权重的计算过程。

2.1.1一级指标权重确定（1）专家判断矩阵计算过程

每位专家可以得到一组权重赋值及相应的一致性检验。筛除CR>0.1的两组权重，将其余10

ABC

A11/31/3B311C3113/51/51/5

010

→A0＝01/3

001/3

311311

0000000000

位专家同一指标的权重进行算术平均，得出专家群体集中意见的综合权重。

2.1.2二级指标权重确定

用层次分析法得到每位专家的权重赋值及

列归一化

03/500＝01/5

001/5

3/51/51/5

001.800000

→M＝00.6000000000.6000

相应的一致性检验。将10位专家对同一指标的权重进行算术平均，得出专家群体集中意见的综合权重，如表3、4、5所示。

将M归一化，即：A＝0.6000；B＝0.2000；C＝0.2000

2.1.3三级指标权重确定

采用专家咨询法请专家对每个三级指标按

00.6000

→W＝00.2000

00.2000

00000

所以λmax=3.0000，经一致性检验，C.I.=0，C.R.

其重要程度分别赋予1→5的分值，指标权重系数由专家咨询评分采用比例分配法计算，先将每个二级指标所包含的三级指标平均得分分别相加，然后再根据每个指标得分占总分的比值，计

第1期吴小妹等.基于科技创新人才信息平台数据挖掘的科研能力评价模型研究

表3

二级指标权重及CR值

157

Table3TheweightandtheCRvalueofthesecondlevelindicators

专家序号

A10.06310.11900.11790.03670.02980.11330.08720.13350.16450.15160.1017

A20.17860.28450.32850.17800.13090.25950.24190.25110.33690.15160.2341

A30.32460.45420.32850.19370.48820.25950.40010.45320.33690.49120.3730

表4

A40.06310.04670.04100.39870.14460.07570.03680.04490.08390.07420.1010

A50.06990.06620.11790.07610.05050.04840.14400.06320.03890.05800.0733

A60.30070.02930.06630.11670.15600.24360.09000.05400.03890.07340.1169

CR0.00650.09630.00360.05710.07220.09510.07920.09730.02780.0321/

12345678910

均数

二级指标权重及CR值

Table4

专家序号

TheweightandtheCRvalueofthesecondlevelindicators

B20.08340.03090.03420.08860.16620.03790.08860.04260.03800.03920.0650

B30.16860.22390.24650.08670.03010.16550.26230.08970.16570.14680.1586

B40.16860.22390.15790.20220.28150.18060.15670.26160.18090.27010.2084

B50.54170.46970.48950.57890.46540.54270.45570.50340.54360.45890.5049

CR0.05010.06150.05410.08890.07250.03950.04620.07450.03460.0843/

B10.03770.05150.07200.04370.05680.07340.03670.10260.07190.08500.0631

12345678910

均数

算出该项指标的权重系数，如表6所示。大学等高校的科研业绩量化标准，结合专家咨询意见反馈，设计了各指标量化评分标准（见表8）。

2.1.4综合权重确定

根据以上计算得出各级指标权重结果，最终

2.2.2指标数据的归一化处理

由于评价指标体系中的每个指标都表达了一个不同的特征变量，各特征变量具有不同的量纲（计量单位）和量级（数值的数量级），即不具有等值性和可比性。为此，在划分等级以及赋分之后，还需对所赋分值进行归一化处理，以统一的口径解决多指标综合评价中各指标量级的差异性问题，并使指标值更加集中，从而使各指标能够进行相互比较和综合运算。

本文对评价指标的归一化处理采用最大值转

确定综合权重，得出各层指标的权重（见表7）。考虑到学科差异，如获取专利指标项对于不同学科有明显差异，在进行科研能力评价时，将分学科对评价对象进行评价、排序。

2.22.2.1

评分标准的确定与归一化处理评价标准确定

在计算出各指标的综合权重之后，为了使要

素评分有一个较为客观的标准，本文根据各指标的特点，参照浙江工商大学、浙江大学、浙江工业

158

表5

二级指标权重及CR值

科技通报第27卷

2.3综合评价

评价模型是评价指标与评价目标之间逻辑关系的数学表达式，某指标数值越大，对科研能力综合评价的贡献率也越大，即评价目标与评价指标之间是一种线性关系。因此，我们可以采用线性加权求和法计算综合评价得分，其数学模型为：

24

Table5TheweightandtheCRvalueofthesecond

levelindicators

专家序号C10.10620.10960.14290.07820.07550.10620.26050.10620.26050.45450.1700

表6

C20.26050.58130.57140.48660.33380.63330.63330.26050.63330.45450.4849

C30.63330.30920.28570.43530.59070.26050.10620.63330.10620.09090.3451

CR0.03340.00320.00000.01090.01220.03340.03340.03340.03340.0000/

12345678910

均数

Yi=ΣW·jFij（j＝1，2，…，24）

j=1

上式中，Yi是第i个参评对象科研能力综合评价得分值，Wj是第j个末级指标的综合权重，Fij是第i个参评对象第j个指标经归一化处理后的评价值。

3结论、运用效果与不足

本研究系统地进行了指标分析和指标框架

三级指标权重

的搭建，从数据挖掘并运用于实时评价等实用角度提取指标，建立模型。在指标的提取分析、实证检验以及指标处理上，做了一些工作。本文所构建的科研能力评价指标体系充分考虑到了信息库中数据的特征，具有较强可操作性，通过计算机技术转换为信息平台的嵌入软件模块后，可以快速地对信息库中人员的科研能力进行实时评价，有效进行排序，为信息库中的成员进行“百千万”人才工程的有效分类提供了方法和依据。

本文所得出的科研能力评价模型经浙江省科技创新人才信息平台的若干样本数据试评测，从评价结果看，运用评价模型所得出的排序与专家独立评价结果具有较好的吻合性，一定程度上验证了本文所构建的评价模型的有效性。

本文的研究是一项尝试性工作，还有许多需要日后进一步完善的研究工作。从指标选取来看，很多能力要素与专业领域相关性很大，因此能力评价有必要进一步结合专业领域的特殊性，对不同专业领域做出侧重权重的调整和指标的增减；从应用性来看，本文研究结果还有待科技创新人才信息平台投入运行以后，根据评价结果和新的情况加以完善，通过实际运用发现评价模型的不足，不断进行调整。参考文献：

［1］

杨宏进．企业技术创新能力评价指标的实证分析［J］．统计研究，1998（1）：53-58．

权重

Table6Theweightofthethirdlevelindicators

指标序号

指标名称论文级别作者排名论文字数出版社等级作者排名专著字数专利类别作者排名奖项级别作者排名归属级别采纳级别作者排名报告字数资助级别作者排名

均值

Ⅲ－1Ⅲ－2Ⅲ－3Ⅲ－4Ⅲ－5Ⅲ－6Ⅲ－7Ⅲ－8Ⅲ－9Ⅲ－10Ⅲ－11Ⅲ－12Ⅲ－13Ⅲ－14Ⅲ－15Ⅲ－16

4.70003.60002.40004.30003.70003.00004.60003.70004.60003.60004.20004.70003.80002.50004.30003.7000

0.43930.33640.22430.39090.33640.27270.55420.44580.56100.43900.27630.30920.25000.16450.53750.4625

化法，记第j项指标的最高级别赋分为Xj，max，将第

i个评价对象第j项指标的实际值Xij与Xj，max进行

比较，就可得到归一化（无量纲）处理后的指标评价值Fij，这样所有参评对象的指标值均控制在［0，1］之间。数学公式是：Fij=Xij/Xj，max

第1期吴小妹等.基于科技创新人才信息平台数据挖掘的科研能力评价模型研究

表7

综合权重

159

Table7Comprehensiveweight

一级指标

二级指标

三级指标论文级别（0.4393）

发表论文（0.1017）

作者排名（0.3364）论文字数（0.2243)出版社等级（0.3909）

发表专著（0.2341）

作者排名（0.3364）专著字数（0.2727）

获取专利（0.3730）

能力表现（5年内成果）（0.6259）

获得奖项（0.1010）

专利类别（0.5542）作者排名（0.4458）奖项级别（0.5610）作者排名（0.4390)归属级别（0.2763）

研究报告（0.0733）

采纳级别（0.3092）作者排名(0.2500）字数（0.1645）

项目资助（0.1169）学位（0.0631）学历（0.0650）

能力层次（0.1878）

专业技术资格（0.1586）硕/博导师（0.2084）院士/特级专家（0.5049）培养中硕士（0.1700）

能力资源（0.1863）

培养中博士（0.4849）稳定团队成员（0.3451）

资助级别（0.5375）作者排名（0.4625）

学位等级学历等级资格等级是否硕/博导师是否院士/特级专家在读硕士生数量在读博士生数量稳定级别和团队人数

综合权重

0.02800.02140.01430.05730.04930.04000.12940.10410.03540.02770.01270.01420.01150.00750.03930.03380.01190.01220.02980.03910.09480.03170.09030.0643

注：一级指标、二级指标、三级指标中列的权重为各指标相对于其上一层指标的权重，而最后一列的综合权重为各指标对应于目标层的权重。

［2］［3］［4］［5］［6］

曲国禹，刘学铭．对建立企业技术创新能力评价指标体系的探讨［J］．辽宁工学院学报，1999（1）：79-82．史晓燕．企业技术创新能力指标体系设置及综合评价［J］．陕西经贸学院学报，1999（4）：27－30．

范柏乃，单世涛，陆长生．城市技术创新能力评价指标筛选方法研究［J］．科学学研究，2002，20（6）：663－668．孙细明．企业技术创新能力评价研究［D］．武汉：华中科技大学．2003．

李广华．山东高校科技创新能力评价研究［D］．天津：天津大学．2005．

［7］［8］

贺天伟，张景林．科研绩效定量评价指标体系的初步设计［J］．科技管理研究，2001，（6）：58－61．

胡修周等．科研能力和效绩量化评价及其在职称评审中的应用研究［J］．中华医学科研管理杂志，2001，（4）：

210－214．

［9］［10］

王章豹，徐枞巍．高校科技创新能力综合评价：原则、指标、模型与方法［J］．中国科技论坛，2005，（2）：55－59．袁海霞等．科研绩效评价指标体系的初步探讨［J］．海军医学杂志，2007，（2）：157－159．

160

表8

科技通报第27卷

各指标量化评分标准

Table8

二级指标

三级指标

Quantitativeassessmentcriteriaofeachindicator

评分标准

参照浙江大学期刊定级标准，分权威级、一级、二级、三级（未列入浙大期刊定

论文级别级标准库中的其他所有公开出版发行的学术期刊列为三级）四个等级。各等级赋分如下：权威级12分/篇，一级6分/篇，二级3分/篇，三级1分/篇。

完成人数

第1作者赋分

第2作者赋分

第3作者赋分

12

发表论文

作者排名

10.60.50.40.40.4

0.40.30.30.30.3

0.20.20.150.15

3456及以上

3人以上合作完成，只考虑到第3作者，此处略去第3作者之后的赋分。

论文字数

1500字以下1分/篇，1500～4500字（含1500）2分/篇，4500～9000字（含4500）

参照浙江工商大学标准，分为A、B、C三个等级，A级包括人民出版社、商务印书馆、三联等，B级包括机械工业出版社、清华大学出版社等，除A、B级外的其他出版社均列入C级。各级别赋分如下：A级2分/部，B级1.5分/部，C级1分/部。

出版社等级

发表专著

作者排名专著字数专利类别作者排名

评分标准同“发表论文”指标中作者排名项赋分。

10万字以下，1分/部；10～20万字（含10万）2分/部；20～30万字（含20万）4

分/部，30万字以上（含30万）6分/部。

发明专利15分/件，实用新型3分/件，外观设计1分/件。评分标准同“发表论文”指标中作者排名项赋分。

中科院及国际奖励128分/项，国家一等奖64分/项，国家二等奖32分/项，国

获取专利

获得奖项

奖项级别

家三等奖与省部级一等奖16分/项，省部级二等奖8分/项，省部级三等奖与市厅级一等奖4分/项，市厅级二等奖2分/项，市厅级三等奖1分/项，学会级的对应降级，如国家学会级一等奖降为省部一等奖，依此类推。

作者排名归属级别采纳级别

研究报告

作者排名字数

评分标准同“发表论文”指标中作者排名项赋分。与下项目级别对应。

中央采纳8分/篇，省部采纳4分/篇，市厅采纳2分/篇，企业采纳1分/篇。评分标准同“发表论文”指标中作者排名项赋分。

1万字以下，1分/篇；1～2万字（含1万）2分/篇；2～5万字（含2万）4分/篇，5

万字以上（含5万）6分/篇。

国家重点以上30分/项，国家一般15分/项，省部重点以上10分/项，省部一般

项目资助资助级别作者排名

6分/项，市厅重点以上4分/项，市厅一般2分/项，企业资助1分/项。

评分标准同“发表论文”指标中作者排名项赋分。学士1分，硕士2分，博士4分。

大专1分，本科2分，硕士研究生4分，博士研究生8分。初级1分，中级2分，高级4分。硕导1分，博导2分。特级专家1分，院士2分。

学位学历专业技术资格硕/博导师院士/特级专家培养中硕士培养中博士稳定团队成员

学位等级学历等级资格等级是否硕/博导师是否院士/特级专家在读硕士生数量在读博士生数量稳定团队成员人数

按人数赋分，1分/人，以20人为上限，超过20人均按20人计算。

本文来源：https://www.bwwdw.com/article/fl4j.html