成果名称: 大数据视角下的科研审计与监管研究
完成单位: 广东省技术经济研究发展中心
主要人员: 林振亮,王勇,张娟,杨磊,李侠广,吴国栋,燕卿,段依竺,魏亚运,廖苏亮,米一波,郑嘉颖,张祥宇,史文琦,李建军
介绍:

    ①课题来源与背景: 本项目归属广东省公益研究与能力建设专项,该专项主要用于支持省内高校、科研院所、新型科研机构等公益性研究单位开展科技战略、技术规划、科技管理等软科学研究,从而提升支撑服务能力。2018年,按照省科技厅三定方案中各业务处室的职责分工,科技监督与诚信建设处主要负责承担全省科技监督评价体系建设和科技评估管理相关工作,提出科技评价机制改革的政策措施建议并监督实施,开展科技评估评价和监督检查工作。

     ②研究目的与意义:广东省技术经济研究发展中心支撑科技监督与诚信建设处开展广东科技评价改革、科技伦理和诚信文件起草与治理体系建设,协助建立科技计划项目全流程监督机制。为了进一步提升在项目科研审计与监督管理等方面的支撑服务能力,本中心通过承担了省公益研究与能力建设专项“大数据视角下的科研审计与监管研究”项目(项目编号:2019B101001027)的方式,总结回顾多年工作经验,分析梳理广东评估与监管产生的问题与挑战,为升级优化省科技监督评价体系建设、推进省科技评估管理机构建设、提出科技评价机制的措施建议等。

     ③主要论点与论据: 梳理广东科技项目评审数据。随着信息技术、网络技术的高速发展,数据采集、存储、分析等大数据技术快速应用于科技领域,广东科技项目已积累了海量体量大、速度快、类型多、价值低等特征的评审数据,本研究通过梳理这些大数据,并高效利用,这些评议数据分析专家和评议影响因素,为广东科研监管设计出合理的实证模型。 探索广东科研项目评审评价架构。专家评审本质是一种量化过的主观定性评议,受评议环境变化、定性定量指标选择,以及专家知识与经验差异、主观判断、倾向性甚至权力滥用的影响。但是,专家评审仍是目前保证科技项目评审质量的最佳方法。也是广东科技项目管理中经常性、极为重要的辅助决策过程,能充分发挥了行业领域专家的智慧和力量,按照规定的评审方法与程序,对申报者的目标、可行性、预期成效等进行综合评审,只有做到对专家有效的评估、监督、规范与约束,挑选合适的评议专家,保证专家评审结果的客观和公正。 构建广东科研项目评审评价模型。在科研项目评审评价过程中,默认大部分的评议活动结论是正向的,为最接近真实情况的标准值。以此为基础,利用云模型算法分析专家个体的微观规律与评审活动宏观行为之间的函数关系,构建基于逆向云生成算法的广东科研项目评审评价模型,并将其应用于科研项目审计与监督研究。 开展广东科研审计与监管分析。通过提出的评审评价模型验证,在科研项目评审数据的支撑下,实证结果表明,基于逆向云算法的评议模型,对于评价专家各方面的评议能力和整体评议效果,评价评审活动开展成效,以及筛选、监控专家评审过程的异常数据,对于科学构建专家个性化权限,分析科研审计与监管存在的问题、剖析原因有实操意义。 能发挥一定的科研项目评审监督作用,有利于发挥专家最大优势、最大限度减小人为因素造成的误差,提出科研审计与监督应重点留意的若干指标范围,为广东科研审计与监管的改进找出关注点,支撑广东科学研究的快速发展,以期保证每个受评项目有一份公平、公正的评审结论,有利于管理部门选择出期望的、最优的且最符合条件的科研项目予以资助。 推进广东科研审计与监管政策研究。一是深入开展广东科技监督体系构建和监督机制完善相关研究,支撑出台《广东省科技计划项目监督规定》等政策文件,协助建立省级科技计划项目全流程监督和随机抽查相结合的新监督模式。 二是结合广东科技创新治理体系建设现状和发展趋势,构建具有广东地方特色多维多元评价体制机制,相关成果支撑了省科技厅出台了《广东省科技计划绩效评估管理办法(试行)》。

     ④创见与创新: 利用云模型和大数据技术对评议信息的分析利用,为科研项目评审过程的监管和评议数值修正提供了全新思路。基于现有或未来专家评审形成的信息,探索云模型结合大数据技术的方式,构建科研项目评审评价模型,让评议信息得到进一步的“整合、关联、智能”,提高专家评审的质量与效率。 1.构建具备实效与实用的科研项目评审评价模型。通过选择若干算法进行的对比试验,建立模型并评估,开展符合科研项目评审评价特征的算法编写。 2.研究基于大数据的科研审计与监管机制。促使科研审计与监督从“垂直走向扁平、单一走向多元、封闭走向开放、经验走向数据,粗放走向精准、定时走向实时”,提出更具实践意义的技术手段。

     ⑤社会经济效益,存在的问题: 科研审计和监管研究是科技体制改革的重要环节,是促进科研组织方式、管理机制改革完善的重要抓手,也是支撑简政放权、优化服务的重要保障,是科技计划管理改革的重点与难点,对提高广东科研项目组织实施有实践意义。通过科研审计与监督管理的完善,助力推进广东科研项目的征集、受理、评审、立项、过程管理和结题验收等环节的监督工作,模型的建立也为科研项目监管提供一种新监管方式。

批准登记号:
登记日期: 2024-05-23
研究起止时间: 2019-10-01至2023-09-30
所属行业: 科学研究和技术服务业
所属高新技术类别:
评价单位名称: 广东省科学技术厅
评价日期: 2023-10-27