先固定事件和两份原始标注
假设有六个击球事件,依次记为 A 到 F。标注员甲的结果是:A 非受迫、B 非受迫、C 受迫、D 受迫、E 非受迫、F 未知。标注员乙的结果是:A 非受迫、B 受迫、C 受迫、D 受迫、E 非受迫、F 非受迫。
这里不能因为两份结果不同,就直接把 B 改成某一类,也不能把 F 的“未知”当成普通分类。每个事件都应保留录像时间点、原始标签、标注员备注以及当时采用的判定标准。这样,后续复核是在已有证据上增加信息,而不是用结果倒推原标签。
共同可判样本的一致率怎样算
先排除至少一名标注员标为“未知”的事件。A 到 E 共五条属于共同可判样本。逐条比较后,A、C、D、E 一致,B 不一致,因此一致事件数为 4,共同可判事件数为 5。
共同可判一致率的计算是:
一致率 = 一致事件数 ÷ 共同可判事件数 = 4 ÷ 5 = 百分之80
这个百分之八十只描述两名标注员在这五条共同可判记录上的表面一致程度。它不等于“百分之八十的标注是正确的”,因为一致本身没有自动产生真值;两人也可能共同受到同一条模糊规则影响。F 不应进入这个分母,否则会把“无法判断”和“判断不同”混为一谈。
用交叉表展示分歧,而不是隐藏分歧
对共同可判的 A 到 E,可以制作一个两行两列的交叉表。行表示甲的标签,列表示乙的标签。由于本例只统计“非受迫”和“受迫”,B 的交叉位置会直接显示分歧。
| 甲\乙 | 非受迫 | 受迫 | 合计 |
|---|---|---|---|
| 非受迫 | 2 | 1 | 3 |
| 受迫 | 0 | 2 | 2 |
| 合计 | 2 | 3 | 5 |
表中左上和右下的两个对角单元格合计为 4,正好对应一致事件 A、C、D、E;非对角单元格合计为 1,对应 B。因而也可以报告:两人均标为非受迫 2 条,两人均标为受迫 2 条,存在一条非受迫与受迫的分歧。F 则单列为“至少一方未知”,不放进这张二分类交叉表。
不要把未知强行变成分歧或一致
F 中甲标为未知、乙标为非受迫。它不是“两人分歧”的普通案例,因为甲并未选择相反类别;它更准确的描述是“部分可判”或“含未知标签”。报告时可同时给出:六条原始事件中,五条属于双方均有明确二分类标签,另一条至少一方标为未知。
如果研究者确实需要一个覆盖全部事件的指标,应预先写明规则。例如,可报告“原始完整记录中的明确一致数为 4 条”,但不能把它除以 6 后继续称为共同可判一致率。4 除以 6 只是另一种分母定义,不能与 4 除以 5 混用。分母、排除理由和标签范围必须一起出现。
复核时怎样改变结论而不篡改原始数据
应在事先制定的标准下复核 B 和 F,例如明确击球前是否存在足以改变结果的对手触球、场地位置、击球质量和可见性条件;这些只是需要预先定义的判定维度,不是本例对赛事规则的断言。复核人员可以新增“复核标签”和“复核理由”,但保留甲、乙的原始标签不变。
若复核后 B 被判定为非受迫,应记录“甲原标非受迫、乙原标受迫、复核结果非受迫、依据为何”;若证据不足,则复核结果仍可为未知。F 也同理。最终应分别报告原始一致率、分歧数量、未知数量和复核后的新增结论,并注明复核标准与录像定位。
这种做法的重点是区分三个问题:两人是否一致、事件是否能够判定、以及复核者是否提出了新的工作标签。只有把这三层拆开,百分之八十才不会被误写成准确率,也不会通过投票把分歧伪装成事实。