在论文中,101分量表的统计处理方式如下:
(1) 政策支持度(前后测量)
- 前测:参与者在阅读任何信息前,对特定政策的支持度进行101分量表评分
- 后测:参与者阅读LLM或人类生成的说服性信息后,再次进行101分量表评分
- 统计方法:
- 计算前后测的差值(后测 - 前测)
- 通过t检验比较不同组别(如LLM组 vs 人类组)的差异
- 例如:LLM组平均支持度提升3.2分,人类组提升2.8分
(2) 对信息的评价(聪明、有同情心、道德等)
- 多维度评价:对每项评价维度(聪明、有同情心、道德等)单独进行101分量表评分
- 统计方法:
- 计算各维度的平均分(如"聪明"维度平均78.3分)
- 通过**方差分析(ANOVA)**比较不同组别在各维度上的差异
- 例如:LLM生成的信息在"聪明"维度评分显著高于人类生成信息(78.3 vs 72.1)
(3) 对作者的感知(知情、逻辑、不愤怒等)
- 多维度感知:对每项感知维度单独进行101分量表评分
- 统计方法:
- 类似信息评价,计算各维度的平均分
- 通过相关性分析探究感知与政策支持度的关系
- 例如:对作者"知情"的评分与政策支持度呈正相关(r=0.43)
(4) 作者身份猜测
- 二分法测量:参与者被问"您认为这段信息是由人类还是AI生成的?"
- 统计方法:
- 计算认为是AI生成的比例
- 通过卡方检验比较不同组别(如LLM组 vs 人类组)的猜测差异
- 例如:73%的参与者认为LLM生成的信息是"AI生成的",而人类生成的信息只有12%被误认为是AI