2023年学术评价不宜过度依赖专家评议.doc

学术评价不宜过度依赖专家评议学术评价不宜过度依赖专家评议 吴文成 当前，量化评价与定性评价优劣之争再度成为社科学界的热点话题。鉴于量化学术评价在积极推动中国社科学术研究走向繁荣的同时也暴露出较多的问题，如“以刊论文”、学术写作“模型化”和“数学化”、唯“核心期刊”论，乃至学术评价只看发表数量而不看质量等。近年来，一些重要的学术期刊呼吁在各种学术评价中摈弃“唯论文”现象，反对片面追求论文数量，倡导推行代表作评价制度。一时间，专家评议再度成为备受推崇的学术评价方法，一些领域甚至出现了专家评议应完全替代文献计量指标的声音。而为了矫枉不过正，我们必须清楚了解专家评议的内在局限性，进而全面、科学地发挥同行专家评议的积极作用。具体而言，社科领域的学术评价不能完全依赖专家评议的原因主要有以下三点：一、制度环境可使专家评议在一定程度上失真 同行专家评议制度作为一项重要的学术评价手段，并不在制度真空中运行，需要依赖于一系列辅助制度的保障。双向匿名专家评议对于被评议者和评议者是完全匿名的，但对于学术评价的组织者来说都是实名的。匿名性在一定程度上保证了学术公正，但是匿名评价功效的发挥，需要一套确保评议发起者能够完全中立和公正的制度体系，否则在实践中，形式上异常合规的同行评议就可能流于走过场。另外，同行评议的效果主要体现于特定领域的同行专家对一项研究成果背景、研究前沿等知识的深刻了解，其中如何为待评审学术成果找到最匹配的专家最为关键。而随着学科专业化加速推进，“大同行”与“小同行”并存现象为精确匹配评审专家增加了相当的难度，这就需要确立额外的专家信息搜集、甄别和专家库建设制度，否则，孤立的专家评议制度在制度实践过程中将难以发挥应有作用。二、利益关联可使专家评议在一定范围内失效 评审专家与待评审人之间存在的利益相关性则会使专家评议制度失效，这表现为两者间的利益冲突和利益重合，而这也是国外推行评议专家回避制度的原因。真正匹配的评议专家最了解待评审学术成果的优缺点，因为他们隶属特定研究领域的少数专家群体，彼此对最新的研究进展和学术创新点都很熟悉，也最能分辨出该项学术研究是否真正有价值。但是，很多时候，正因为研究领域和议题的高度接近，导致同行评审专家与待评审人存在可能的利益冲突，即如果其积极评价该项创新性成果，则可能危及自己的研究，如课题申请、学术发表、经费拨付等。此外，利益关联也存在相反的情况，即由于两者存在一定的利益重合，而人为拔高对待评审成果的学术评价。因为导师制等学术制度的确立，相关学科领军人物开创的某个方向、某个议题的研究，往往由其门下的硕博弟子加以完善和发展，因此最匹配的同行其实是特定学术群体内部的研究者，因而在这种背景下，评议专家可能因为与待评审人利益存在重合而过高地评价。三、标准化评价可使专家评议在某种意义上失范 众所周知，同行专家评议其实一直在上到基金评审、论文发表，下到职称评审和绩效考核等各个学术评价领域和环节加以运用。由于在制度形式上越来越完备、各项评价指标越来越细化、评审内容越来越模块化，专家评议带来的一个意想不到的后果是，学术评价越来越趋于规范和“科学”，从而导致同行专家多倾向于在特定范式内进行评价，从而维护自身的学术声誉。这种越来越刚性的制度化评审规定一方面大幅提升了评价的标准化，但是也促使同行评议专家过分追求确定性，倾向于低估、漠视乃至否定那些挑战学科基本命题，突破学科研究主要范式的研究成果，以避免评审引起的可能争议。因此，一个悖论则是，当同行评议制度在制度形式上和制度实践中努力规避评审的随意性和主观性的同时，其不经意间却推动评审专家寻求在已经确立的学术范式内进行评价，从而鼓励了那些针对细枝末节问题、小修小补式的研究，长远来看，不利于学科内的重大范式变革和基本命题与理论的创新。本质上看，定量评价与定性评价并不是对立的，而是可以完全互补的，特别是在信息化时代的大数据背景下，如何各取所长、相互促进才是提升学术评价质量的重要方向。具体而言，存在以下几种完善的路径：一、构建针对专家评议组织者的监督机制，完善同行评议的支撑性制度体系 如前所述，同行评议的组织者实际上占据关键地位，同行评议制度所具有的双向匿名和同行匹配等关键特征都需要一个中立和诚信的中间人，为此，亟需建立针对同行专家评议组织方的学术监督机制，确保其恪守学术中立和道德诚信，并使同行评议实施的所有环节都能相对透明和有案可查，而发展在线专家评议系统就能很好解决这些问题。在此基础上，还需要推动同行专家库建设、确立专家遴选标准和明确专家匹配流程，确保特定领域的学术成果可以在最大范围内精确匹配相应的评审专家，因此，创建动态的电子化专家数据库也是当务之急。二、利用人工智能和大数据技术精确遴选专家，并对评审专家进行反向评估？随着中国哲学社会科学的繁荣、学术研究队伍的加速扩容和学术分工的进一步細化，精确匹配同行评议的专家愈发艰难，利用传统人工手段寻找真正的同行很可能挂一漏万。而方兴未艾的大数据和人工智能技术，则可以借助深度机器学习，利用系统储存的评审专家的研究成果与待评审成果之间的强关联性进行自动机器匹配，并在人工智能推荐基础上由评议组织者进一步甄别。另外，在当下各种学术评价中，各种专家参与同行评议主要是荣誉性质的，这就对评审专家的责任心、人格特质等提出更高的要求。为此就需要记录、汇总和分析每一次同行评议的效果，而大数据技术的发展为实现这一目标提供了可能。比如被评阅人、评议组织者或第三方机构基于单个评议案例，可以给相关评审专家的态度和能力进行绩效评估，并给出相应的分数，从而为后续的专家评议提供了有益的参照。三、建立事后披露制度，提高专家评议透明度以杜绝利益关联 专家评议最突出特点是双向匿名，但是完全的匿名性却不利于对评议专家态度的评估、对评议效果的统计。更重要的是，若没有更广大学术共同体乃至社会舆论的监督，很多专家评议可能会局限于小圈子的内部操作，没法提前了解和规避评审专家与待评审人之间的利益关联关系。因此，确立在专家评议结束后一定时间段内的事后披露和公开制度，在更大范围内增强整个专家评议全流程的透明度，既能事先规避可能的利益关联，又能让可能存在利益关联的评审专家自己主动回避评议，从而起到有效的震慑作用。