纳米科技

量子调控与量子信息

大科学装置前沿研究

蛋白质机器与生命过程调控

粮食丰产增效科技创新

现代食品加工及粮食收储运技术与装备

畜禽重大疫病防控与高效安全养殖综合技术研发 林业资源培育及高效利用技术创新

智能农机装备

首批国家重点研发计划专项名单

1.“纳米科技”重点专项

2.“量子调控与量子信息”重点专项

3.“大科学装置前沿研究”重点专项

4.“蛋白质机器与生命过程调控”重点专项

5.“粮食丰产增效科技创新”重点专项

6.“现代食品加工及粮食收储运技术与装备”重点专项

7.“畜禽重大疫病防控与高效安全养殖综合技术研发” 重点专项

8.“林业资源培育及高效利用技术创新”重点专项

9.“智能农机装备”重点专项

 

第二篇：国家高技术研发计划评估体系研究

第24卷　第1期20xx年2月

文章编号:1003-2053(2006)01-0057-05

科　学　学　研　究StudiesinScienceofScienceVol.24No.1

　

Feb.2006

国家高技术研发计划评估体系研究

张国良,陈宏民

(上海交通大学管理学院,上海200052)

摘　要:本文针对国家高技术研究发展(863)计划的特点,构建了基于技术创新理论的嵌入式“863”计划评估体系的分析框架;在总结“863”计划实践经验的基础上,确立了“863”计划实施与评估准则,并通过准则将评估活动与创新过程有机结合起来;同时,对评估技术在评估系统中的应用以及计划绩效的度量提出了策略性建议。本文强调重视评估的质量、范围、以及独立性设计,关注绩效度量指标以及评估技术的选取,强调独立评估对提高评估质量的重要性。计划评估体系的建立有利于对“863”计划有效性进行全面、实时、准确和可靠的评估。

关键词:高技术;研发计划;评估体系;评价准则;绩效指标中图分类号:F204　　　　　文献标识码:A

　　我国在科技评价方面进行了多年探索,科技管理水平在一定程度上得到了促进和提高,但暴露出的问题也很多,如评价制度不健全、善、评价方法不规范等

[1]

,,对整个社会的发展863”计划的特点863)的系统评估方法,为落实国家关于《科学技术评价办法(试行)》做有益的探索。

模的高速增长,引起社会各界广泛关注。

科技部等认为,用同一评价方法来评价不同类型的科学技术活动,不能客观、真实、准确地反映不同评价对象的实际情况

[1]

1　“863”计划评估体系的理论分析框架

“863”计划采取以课题为单位,按领域组织实施的模式。课题大致分为两大类:(1)探索性课题,包括青年基金和自由探索课题;(2)应用性课题,包括主题和重大专项课题;其中主题及重大专项计划的经费比例占到整个“863”计划经费的80%。也就是说,“863”计划以应用性课题为主,是一项以国家

为主导的高技术创新计划。

创新过程大体包括战略分析、战略规划、计划实施、结果验收与成果总结等主要阶段。人们习惯于将计划评价分为前期评价、中期评估和绩效评价三个阶段。实践表明,这种阶段式评估模式缺乏系统性,难以给出关于计划有效性的整体概念。为了使评估贯穿于整个“863”计划实施的全过程,必须建立嵌入式863计划评估体系,为此需要对计划评估

。童健、连燕华认为,不

可能设计出适应所有研发项目及其不同阶段的统一的评估体系和评估方法,必须根据研发项目评估背景的类型来建立评估体系

[2]

。肖利认为科技项目

[3]

评估的前提是对项目进行正确分类。陈玉祥等

认为,对于重大科技项目的评价过程本身也是一个研究、探索、预测的过程,不可能试图有一种既定的程序或模式做出完全正确的评判

[4]

。总之,根据计

划的类型选择适当的计划评估方法至关重要,这一点已成共识,但在如何根据计划的特点建立系统的评估体系方面还没有得到应有的关注。

国家高技术研究发展计划(863计划)是由国家主导实施的科技计划,在国家创新系统中占有极其

　　收稿日期:2005-05-20;修回日期:2005-08-29　　基金项目:国家863计划资助课题(2004AA602230)　　作者简介:张国良(1968-),男,山东莱西人,讲师,博士研究生,研究方向为产业组织与技术创新。

陈宏民(1960-),男,浙江慈溪人,教授、博士生导师,研究方向为技术管理与创新。

? 1994-2006 China Academic Journal Electronic Publishing House. All rights reserved.

?5

8?

科　学　学　研　究第24卷　

进行系统设计。

高技术是一个随着时代而发展着的概念,技术创新也是一个动态的演化过程,是知识积累的产物和学习的结果,而学习又是经验的不断总结和累积,

[5][6]

经验的积累又进一步体现在技术的进步上。在这一过程中,需要国家在引导和支持学习以及创新

[7]

过程中担当重要角色。因此,国家“863”计划作为高技术创新计划,需要遵循技术创新的一般规律,不仅要通过创新来发展具有自主知识产权的高技术、实现高技术成果转化和培育高技术产业生长点,还要通过创新来进行知识积累和技术储备,为攻克下一个高技术制高点创造条件,只有这样才能保证国家始终处于高技术领域的前沿。因此,对863计划及课题的评估,不仅要对863计划课题(含“工

)的设立和实施效果进行评价,为改进程”和“专项”计划的决策与管理、优化资源配置提供依据;还要能

够促进学习和知识积累,保障国家高技术创新的可

持续发展。针对863计划的具体特点,本文构建了基于创新理论的“863”计划系统评估理论框架,如图1所示。

“863”计划系统评估理论分析框架的核心在于:

(1)强调国家“863”计划的创新过程管理,重视

计划评估对计划的知识积累与学习调整的重要性;(2)通过建立明确的863计划的实施与评价准则,使评估活动与创新过程有机结合在一起,将评估活动嵌入到创新活动中;

(3)根据计划及课题的特点选择适当的评估技术,同时运用预评估及后评估,并将它们贯穿于计划实施的全过程;

(4)结合运用内/外部评审,通过独立评估减少偏差,。

图1　“863”计划评估体系的理论分析框架

　　

(1)使“863”计划的立项决策有章可循;(2)使

计划评估工作有据可依;(3)规定计划方案和预算

2　“863”计划评估体系中评价准则的确立

对计划的评估要有评价标准,而建立嵌入式863计划评估体系的关键是要把“863”计划的实施

审核所需信息标准;(4)帮助改进计划项目的预算、

遴选、以及管理程序,提高国家资金的投资回报率以及研发投资组合的产出率。2.1　计划的相关性准则

准则与评价准则统一起来,并通过准则将评估活动

与高技术的创新过程有机结合起来。所谓“863”计划的实施与评价准则,就是在总结多年评估实践经验的基础上建立国家“863”计划的资助原则。通过准则明确规定有关计划相关性、正当性、质量、以及

[8]

绩效等方面的具体执行标准,其目的在于:

计划的相关性是指计划及主题或专项计划与国家战略、“863”宗旨、及产业需求的相关性。计划必须要关系到广泛的公共事业目标、具有巨大的潜在效益、与我国未来科技经济发展密切相关、与我国国情国力相适应、并且能够充分发挥我国的资源优势和比较优势。通过计划的实施,必须要能够提高国

? 1994-2006 China Academic Journal Electronic Publishing House. All rights reserved.

　第1期张国良陈宏民:国家高技术研发计划评估体系研究

?5

9?

家威望、促进高技术的发展、打破技术垄断和封锁、能够促进产业发展、以及增进国防和经济安全。计划立项必须要与国家的战略重点、“863”计划的使命、科技领域、以及产业需求密切相关。相关性准则的具体标准包括:

(1)计划要有完整的规划、清晰的目标及优先次序;

(2)要说明其与具体政府战略目标的相关性;(3)计划必须具有潜在的社会效益;

(4)计划必须与产业及市场具有相关性,技术或计划的其他产出必须要有市场需求;

(5)要说明计划在国际上的领先性,说明国内技术与世界先进水平的差距、以及国际技术壁垒的程度;

(6)计划的相关性必须经过外部预评估及定期进行外部后评估。2.2　计划的正当性准则

所谓计划的正当性,即国家资助的正当性,是指必须由国家资金投入才能实现计划目标的情形种情形往往是市场失灵,果不佳。大、,造成私有企平。对于产业需求旺盛、企业本身就能做,而且投资积极性很高的领域,863计划的过多介入反而会抑制甚至替代产业投资。因此,“863”计划想做到“有所为、有所不为”,就要遵循以下准则:

(1)必须能够证明国家资助的正当性,说明为什么市场失灵和政府必须干预;

(2)必须能够阐明国家资助比其他政策措施更能有效实现目标;

(3)必须说明国家资助的幅度,以及企业配套的比例(产业配套比例也是产业相关性的一个指标)。2.3　计划的质量准则

为了最大程度地提高计划的研发质量,要慎重选择“863”计划的遴选机制。组织实施部门通常的做法是尽可能地采用竞争性择优程序,对属于自由探索性、或必须要及时处理、以及已经取得良好绩效的计划(如对于滚动支持性计划)可以例外,但总的原则是:

(1)对通过非竞争性择优程序遴选的计划,必须说明其正当理由及质量保证措施;

(2)必须定期对计划质量进行后评估;

(3)要采取外部评审的方法对课题的研究质量

进行评估。2.4　计划的绩效准则

组织实施部门要为计划确定适当的产出和效果指标,确立历年及多年后的研发目标,制定详细的进度计划,并设置相应的里程碑作为将来比较和决策的参考。计划的结果必须是可经核实的;计划的目标要有一定的挑战性。必须定期提供针对产出和效果指标的绩效报告。总之,需要遵循的原则是:

(1)计划必须要有挑战性目标;

(2)必须确定适当的产出及效果指标;(3)必须制定合理的进度计划、设置合理的里程碑和决策点;

(4)必须对计划绩效逐年进行评估。通过对计划的评估,,3　“863”计划评估体系中评估的方式、方法、

与技术选择

　　对“863”计划评估的系统设计要满足三大要素———质量、范围、以及独立性。所谓质量,是要求评估必须准确,要能够提供关于计划有效性的正确信息;所谓范围,是要求除了对计划的进展情况进行评估以外,还要对计划与目标的因果关系、计划的相关性、以及计划的有效性(研究工作的质量、领先性、影响)进行独立评审;所谓独立性,则要求尽可能将评估工作交由不存在利益冲突的中立方,例如以合同的形式委托给第三方、或交由同级或上级评估部门进行评估。

“863”计划评估从形式上大多采取专家评审的方式,主要形式有内部评估(internalassessment)和外部评估(externalassessment)。内部评估是指计划自身所做的评估;外部评估是指:委托受过必要培训、拥有专门技术、和具有独立性的第三方,对计划的方法、结果及结论提出批判性意见。从评估的角度或方向上又可将评估分为预评估(perspectiveas2sessment)和后评估(retrospectiveassessment)。预评估是向前看,对计划进行前瞻性预期评估;后评估是向后看,对计划进行追溯性回顾评估。后评估要评

? 1994-2006 China Academic Journal Electronic Publishing House. All rights reserved.

?6

0?

科　学　学　研　究第24卷　

估计划持续的相关性、质量、以及业已取得的成绩,

追溯评估投资的方向是否正确、效率是否高、产能是否大。后评估对验证计划方案的正确性和增强未来投资的信心至关重要。

对“863”计划进行评估的最大挑战是对计划所产生的影响进行评估。所谓计划的影响是指如果没有计划的介入就不可能出现的效果。度量计划的影响可采取的方法有很多,如随机控制试验法(RCT2randomizedcontrolledtrials)、直接控制试验、以及准试验研究等等。非试验法又包括:前后对比分析、纵向分析、相关分析、调查研究、问卷研究、专家评审(同行评议)、案例研究、水平标定等。通常认为,RCT在论证计划实际影响方面算得上是质量最高的无偏评估方法,但这种方法并不是对任何计划都适用。因此有时只能根据具体计划与技术的实际情况选择现实可行的评估技术。准试验研究与非试验研究所提供的信息精确度会有所降低,得出错误结论的可能性也会增加,所以在应用时应当慎重。

为了保证“863”,要尽量采取外部评估的机制,评估的方法,三部分组成。其中,量度指标是指衡量计划绩效的度量单位;目标值是指各项量度指标所要实现的量化或度量程度;期限是指实现目标的时间限制。在确立计划绩效目标时,首先要注重使用效果指标,必要时使用产出指标、或(投入)效率指标。绩效目标既要包含年度量度指标与目标值,又要包含长期量度指标与目标值。

在三类绩效量度指标中,效果与产出是有区别的,二者之间具有一定的逻辑关系,即产出在逻辑上支撑效果。效果是指实施计划或行动所能出现的预期结果或后果;产出是指计划提供的产品或服务。从社会角度看,效果指标比产出指标更有意义,更能直接反映计划的最终结果。从计划管理角度来看,则会更倾向于采用产出指标而不是效果指标,因为产出指标更加直观、更便于数据采集和汇总。从考虑成本效率或单位成本的角度,则可以选择投入指。

从“七五”入轨到“十五”末,“863”计划已经实施了近20年。目前,“十一五”阶段863计划的战略目标规划工作已经启动,并进入到最后的论证阶段。对863计划的有效性进行系统全面和科学的评估不仅可以为“863”计划的决策提供依据,还能够为“十一五”863计划的实施与评估体系设计提供参考。

本文所建立的863计划评估体系,不仅适用于整个“863”计划,更适用于对具体863计划课题以及重大专项计划层面上的评估。对照本文建立的评估准则,在分析部分“十五”863课题的执行情况分析过程中可以看出,我国863计划课题管理具有以下特点:

(1)比较注重立项阶段的管理,无论是时间上还是在投入的人力上相对较多,选题和立项基本满足准则相关性及正当性要求;(2)过程管理中推行课题制和节点管理,一定程度上保证了课题能够在预算的经费和时间内完成;(3)专家组的全过程跟踪管理一定程度上起到了内部监督评估的作用,对保证课题质量发挥了重要作用;(4)与内部监督评估相呼应的外部评估和监督体制尚未建立,在课题质量管理方面尚有很大的提升空间;(5)课题经费,尤其是国家投入部分到位及时,但对配套资金的到位情况以及课题经费的使用情况缺乏有效审计,加

4　“863”标的难点与策略

　　计划的效果(影响)之所以难以度量,一方面是因为效果往往是由多种因素造成,很难将计划对效果的贡献单独区分开来;另一方面,计划的结果往往要等到若干年后才能实现,一时间难以预测。因此,863计划的评估体系中,确立适当的绩效目标并选取适当的度量指标至关重要。计划绩效目标的选取应该遵循以下原则:

(1)质量重于数量。绩效目标应该与计划的核心任务以及计划的预期结果相关,这就要求指标的质量重于数量,重点放在少数适当的指标上。

(2)对预算决策的重要性。绩效目标应该能够提供有助于进行预算决策的信息。

(3)公开透明。绩效目标能够让人们明白需要度量什么,让参与各方明白计划的预期是什么。

(4)切实可行。绩效目标应该切实可行,并且与计划的预期效果密切相关。

“863”计划的绩效目标必须是可度量的。一个完整的绩效目标应该由:量度指标、目标值、和期限

? 1994-2006 China Academic Journal Electronic Publishing House. All rights reserved.

　第1期张国良陈宏民:国家高技术研发计划评估体系研究

?6

1?

强这方面的管理亦将有利于保证课题质量;(6)绩效管理方面,加强同国内外类似计划或课题的比较分析,增加课题验收以及成果总结环节的投入,会提高计划的有效性,增进经验累积。

以上分析可见,评估准则的确立可以为“863”计划的参与各方搭建一个很好的沟通交流平台。进一步的研究包括完善评估准则,在系统框架下进一步细化评估指标,建立专家评审打分报告系统、技术先进性与水平标定系统、技术经济效益与社会效益模拟系统等等,逐步实现计算机辅助评估,使对863计划的系统评估更具可操作性,进一步提高计划评估的公开性、透明性与可信度,提高计划评估的效率和质量。参考文献:

[1]　科技部,教育部,中国科学院,中国工程院,国际自然

OL].http://www./,2003-06-08,2005-04-18.

[2]　童健,连燕华.研究与开发项目评估活动的模式[J].

科学学研究,1994,12(1):56-62.

[3]　肖利.科技项目评估的必要前提[J].科学学研究,

2004,22(3):290-293.

[4]　陈玉祥,沈明宏,朱桂龙.特大科技项目的遴选与评价

[J].科学学研究,1994,12(1):49-55.

[5]　ArrowKJ.Theeconomicimplicationoflearningbydoing

[J].ReviewofEconomicStudies,1962,29(June):156-173.

[6]　RomerPaulM.Endogenouseechnologicalchange[J].

JournalPoliticalEconomy,1990,98(5):71-102.[7]　NelsonRR.NationalInnovationSystems:AComparative

Analysis[M].OxfordUniversityPress,NewYork,1993.[8]　OMB.

ProgramAssessmentRatingTools

(PART)

[EB/OL].http://www.omb.2004.

科学基金委.关于改进科学技术评价工作的决定[EB/

Researchonnationalhit

(MJongUniversity,Shanghai200025,China)

Abstract:Basedoninnovationtheory,ananalyticalframeworkwasestablishedforassessmentofthenationalhigh2techR&Dprogram(orthe863programinshort).The863programfundingcriteriabuildsonthebestassessmentpracticesweredevelopedtoguidetheinnovationprocessandtheevaluationprocessinanintegratedmanner.Theprogramassessmentdesignfocusedonthreeel2ements,namely,quality,scope,andindependence.Majorconcernsweregiventochoiceofprogramperformancegoals,performancemeasures,andassessmenttechniques.Theassessmentdesignwassuggestedtobeincorporatedinthe863programplanningandmayprovideusefulinformationofprogrameffectivenesswithduequalityandaccountability.Keywords:high2techR&D;programassessment;assessmentcriteria;performancemeasures

? 1994-2006 China Academic Journal Electronic Publishing House. All rights reserved.