基于模糊集合的评审决策信息融合_王璐.pdf

物 理 化 学 学 报 Acta Phys.-Chim.Sin.2023,39(3),2210029(1 of 5)Received:October 21,2022;Accepted:October 24,2022;Published online:October 27,2022.*Corresponding author.Email: Editorial office of Acta Physico-Chimica Sinica Editorial doi:10.3866/PKU.WHXB202210029 On Information Fusion by Fuzzy Sets for Decision Making in Peer Review Lu Wang 1,2,Genzi Li 3,Yafei Dai 1,Xuefeng Fu 1,*1 National Natural Science Foundation of China,Beijing 100085,China.2 Institute of Functional Nano&Soft Materials(FUNSOM),Soochow University,Suzhou 215123,Jiangsu Province,China.3 Yanqi Lake Institute of Basic Manufacturing Technology(Beijing)Co.,Ltd.,Beijing 101407,China.Abstract:Peer review plays a crucial role in quality insurance of projects,especially for natural science projects,in evaluation or assessment activities.However,the results of assessment by reviewers for a proposal may scatter due to the intrinsic fuzzy attributes in the peer review process.Specifically,it may introduce a review bias with razor-thin margins in the conversion of descriptive opinions into quantified scores.The accumulation of the bias might cause overturning in the results of evaluation,leading proposals toward a twilight zone between approval and rejection.Here,a novel approach to handling scores in evaluation is presented to address the ambiguity of brink in a tight competition,whereby correlation information from multiple sources could be merged to improve the degree of consensus among reviewers for each proposal according to its essential value.This method may provide an alternate evaluation mechanism for proposal reviews and help tackle the challenges in decision intelligence.Key Words:Peer review;Fuzzy sets;Consensus基于模糊集合的评审决策信息融合 基于模糊集合的评审决策信息融合 王璐1,2，李根梓3，戴亚飞1，付雪峰1,*1国家自然科学基金委员会,北京 100085 2苏州大学功能纳米与软物质研究院,江苏 苏州 215123 3雁栖湖基础制造技术研究院(北京)有限公司，北京 101407 摘要：摘要：同行评议是评价、评审和评估等活动的重要实施方式，尤其对于科学基金项目的评审，同行评议是保证项目质量的有效措施。同行评议过程中固有的模糊属性，会导致评审结果在一定程度上偏离被评价对象的内在价值。本文针对同行评议的模糊属性，提出一种评审决策信息融合的方法，通过对专家评分进行关联分析和自适应调整，实现评审结果围绕被评价对象的内在价值等关键指标达成共识，助力科学基金的评审机制改革和评审决策的智能化。关键词：关键词：同行评议；模糊集合；共识 同行评议(Peer Review)是各类评价、评审和评估活动常用的评价方式13，通过对项目内在科学价值的识别遴选出高质量项目。同行评议广泛应用于科研项目评审、科技奖项评审、重点实验室评估、人才项目评议、职称职级评审等决策活动(以下简称评审)。例如，在科研项目的评审过程中，评审专家(评委)可针对其科学价值、影响力、创新性和可行性等“真实质量”进行综合评价，形成“质量预期”。在开展评审活动时，通常选择3位以上专家进行评审，专家依据项目评审指南独立形成评审决策(评审意见)。每位评审专家对项目给出的主观评审意见不能直接用于排序，需要将其同时以物理化学学报 Acta Phys.-Chim.Sin.2023,39(3),2210029(2 of 5)打分的形式呈现，形成量化评审结果，以便进行比较和排序。高质量的同行评议对实现基金项目的精准资助具有重要意义。在实际评审过程中，由于受到多种因素的影响，评审结果与项目真实质量之间会存在评审偏差46。如评审过程中受到项目申请人学术地位或学缘关系、评审人对项目内容存在个人主观偏好等情况，在主观评审意见转化为评分的过程中就会产生评审偏差。按照通常的评审规则，评审专家对项目申请给出“优、良、中、差”等级并对应4、3、2、1评分。但是，这些等级之间的边界并不清晰，评审专家在做出评价决策时可能会在项目等级归属问题上举棋不定，对处于资助或不资助边缘区域项目的评审结果造成偏差。评委对项目的主观评价可以看作是具有连续性的“谱带”，其边界天然就是模糊且连续的；而给项目打分是非连续的“谱线”，其边界是清晰且明确的。针对“模糊边界”评价转化为“清晰边界”评分的问题，我们需要提出一种将描述性评价与数值型评分统一起来的方法，以便更为准确地反映被评价对象的真实质量。1 模糊集合的构建与算法模糊集合的构建与算法 模糊集合(Fuzzy Sets)用语言变量来描述系统行为，可以为处理同行评议等打分和排序问题提供一种新的思路。不同于通常的集合(Sets)仅包含数值变量，模糊集合包含一组基础变量，且每个基础变量均对应一个取值为0到1的模糊参数；模糊参 数 的 值 可 通 过 一 致 性 函 数(Membership Function)计算获得，表示基础变量对于模糊集合的隶属程度710。前期的相关研究探讨了评审等同行评议的模糊属性，提出了基于模糊集合的基本思路7，但未给出模糊参数求解和模糊集合构建的具体方法，也未说明对模糊集合的后续处理方式。因此，本文将提出一种基于模糊集合的评委贡献度自适应筛分法(Adaptive Personal Performance Sieving Method，简称APPS方法)，通过评审决策的信息融合，实现对评审结果的确认与纠偏、对评审专家的绩效评价、以及评委对项目共识程度的评估。评审机构通过组织专家开展评审活动，对项目进行基于“真实质量”的评价和排序。在不失一般性的前提下，我们可将此类问题定义为m个项目由n个评委分别评审，并给出评分，如图1所示。项目的真实质量在评委内心是客观存在的，评委的核心贡献在于能够可靠地识别项目的真实质量，并且能够用与之足够接近的质量预期进行表达。大多数评委都是在其专业领域具有较高造诣、负责任、讲信誉的专家，有能力对项目的真实质量做出合理的预期。评委中的(相对)多数对同一项目的质量预期会达成较为一致的评价，进而表现出较高的共识程度11,12。本文设定 n 个评委 Pj对 m 个项目 Gj进行评分Sij，构建项目评分集合S(Gi n)，对评分进行归一化处理得到归一化项目评分集合NS(Gi n)。利用留一法交叉验证(Leave-one-out Cross-validation，简称LOO)1315和奈尔检验(Nair Test)来构造一致性函数，并通过一致性函数计算每个评分所对应的值为 0 到1 的模糊参数 wij，构建项目评分的模糊集合。进一步通过构造和应用共识函数，将模糊集合中的原始评分 Sij和模糊参数 wij转化为共识评分 ESij，构造项目的共识评分集合。最后对共识评分求均值ES，得出该项目的单一有效评分，作为项目排序等后续工作的基础。通过分析每个项目的每个评分之间的关联性，提取评委的评审共识，实现同行评议信息的融合，从而有效降低同行评议的模糊属性对项目评价结果的颠覆性影响。对比APPS方法与常规评分统计方法，评分环节均由评委完成，评审结果均以专家评分体现，但主要区别在于评分后的系统处理阶段。常规方法通过对专家评分集合求平均值S作为项目评分，或者通过去掉两个极值评分后求平均值LS作为项目评分；APPS方法通过挖掘同一专家对不同项目评分的内在关联性和不同专家对同一项目评分之间的相互关联性，利用一致性函数构建评分的模糊集合，运用模糊参数作为权重对评分进行调节，构造出共识函数进行均值收敛，将原始评分和模 图图1 项目评审示意图项目评审示意图 Fig.1 Diagram of the project review.物理化学学报 Acta Phys.-Chim.Sin.2023,39(3),2210029(3 of 5)糊参数转化为共识评分，最后对共识评分集合求平均值ES作为项目最终评分。APPS方法与常规方法对于一个项目评审分数处理流程的对比示意如图2所示。共识评分均值ES与原始评分均值S的差异程度体现了对初始评审结果的确认与纠偏。如果ES与S的差异程度较小，APPS方法更多发挥了对初始评审结果的确认作用；如果ES与S的差异程度较大，则说明APPS方法对初始评审结果中的部分评分进行了某种程度的纠偏。同时，确认的程度还可以作为一组评委整体上对项目评审贡献的评价指标：如ES与S的差异程度较小，即APPS方法对评审结果进行了较大程度的确认，则说明这组评委作为一个整体较可靠地识别了项目的真实质量，并较准确地用评分表达了评审结果。2 APPS算法的实现与验证算法的实现与验证 我们用计算机程序实现了APPS算法，并通过多组随机模拟评分的运算对算法进行了验证。在实际应用中，对于一组项目，APPS方法适用的评委人数为3100人，专家评分会进行归一化处理，因而评委只需在给定的评分范围内打分即可。我们通过一个随机模拟评分的案例来展现APPS方法的性能。为了便于对运算过程和结果进行图形化的表达，设15位评委对10个项目进行评审，评分范围为15分。首先对获得的10 15个评分按照算法规定的方式进行归一化处理，然后进行后续的运算。图3分别展示了共识评分均值的收敛过程和收敛过程中的共识评分均值及标准偏差，体现了本算法可靠的收敛性能，以及随着迭代次数的增加，评分的共识程度得到了提升。在验证了此算法的可靠性基础上，我们对国家自然科学基金委化学科学部合成化学重点项目结题评审的数据进行了运算和分析。表1给出了其中一组结题评审数据，包括专家原始评分和相应的共识评分及其均值。由于经过了归一化、模糊参数赋值等中间步骤的转换，同样分值的原始评分可能会对应不同分值的共识评分，因此每个项目最后获得的平均分也会有所差别。而这个差别可能导致不同项目在整个项目列表中