大规模创新类竞赛评审方案探索:基于标准分的改进与新模型设计
在评审中采用标准分(附件1)为基础的排序方法,其假设是不同评审专家评审的作品集合的学术水平分布相同。但在大规模创新类竞赛评审中,通常任意两位专家评审的作品只有小部分是共同的,绝大多数作品是不同的(见问题一),而且每位专家只看到作品集合的很小部分,因此标准分评审方案的假设可能不成立,需要探索新的评审方案。请选择两种或两种以上现有或自己设计的评审方案和题目附件数据,分析每位专家、每份作品原始成绩、调整之后(如取标准分)成绩的分布特点,按不同方案进行排序,并设法比较这些方案的优劣。进而针对大规模创新类竞赛的评审,设计新的标准分(公式)计算模型。另外,一般认为经多位专家协商一致的获奖论文具有最大的可信度,附件2提供的数据1,其第二评审阶段评选出的一等奖作品排序是经专家协商取得一致的,请给出分析代码。
对于大规模创新类竞赛评审中的问题,可以尝试以下两种评审方案:
-
基于作品的相对评价: a. 每位专家对自己所看到的作品进行评分,评分可以是一个绝对值或者一个相对值(例如,将作品按照自己所评价的优劣程度进行排序)。 b. 将每位专家的评分进行归一化处理,例如将每位专家的评分进行标准化(取标准分)。 c. 对归一化处理后的评分进行加权平均,权重可以根据专家的经验、能力和信誉等因素来确定。 d. 最终按照加权平均得分对作品进行排序。
-
基于专家的评价: a. 对于每位专家,将其所评价的作品按照其评分进行排序。 b. 对于每份作品,可以计算其在所有专家评价中的排名平均值,作为其最终的评分。 c. 最终按照评分对作品进行排序。
以上两种方案都可以通过分析每位专家、每份作品原始成绩、调整之后成绩的分布特点来评估其效果。
为了设计新的标准分计算模型,可以考虑以下因素:
- 作品的原始成绩分布特点:分析作品的原始成绩分布,例如均值、方差、偏度等统计指标。这可以帮助确定标准分的计算公式中的参数。
- 专家评分的一致性:分析专家评分之间的一致性,例如计算专家评分之间的相关系数。这可以帮助确定标准分的计算公式中的权重。
对于附件2提供的数据1,可以使用以下代码进行分析:
import pandas as pd
# 读取数据
data = pd.read_csv('data.csv')
# 根据一等奖作品排序
sorted_data = data.sort_values(by='一等奖', ascending=False)
# 输出排序结果
print(sorted_data)
这段代码将数据按照一等奖的评分进行排序,并输出排序结果。根据排序结果可以看出,经过专家协商一致的获奖论文排名。
原文地址: https://www.cveoy.top/t/topic/bRJY 著作权归作者所有。请勿转载和采集!