一段话是由于AI还是人类创作的，
人类能分清吗？
分不清！ 
为何？
本期分享的文献Humanheuristics for AI-generated language are flawed说明了人们没法区分AI（人工智能）和人类创造的文本并做出认识释，同期这篇文献的科研结果还提出了一个问题，即人类将怎样适应人工智能生成的文本。 
科研背景与问题
大型生成语言模型能够生成与人类创造的语言非常类似的语言。经过智能回复、语法辅助和设备翻译等应用程序，AI系统大规模地将生成的语言融入到人类的交流中。当其被视作人类创造的语言时，就可能引起新形式的剽窃、操作和诈骗的互动。
启发式Heuristics指的是一种思维捷径，它使得个人以最小的脑力快速做出决定、做出判断或处理问题。自我呈现Self-presentation指的是旨在掌控他人对个体自我印象的行径，而言语自我呈现Verbal self-presentation关注的是用于完成印象管理的词汇。本文将自我呈现做为在线简历中广泛存在的自我描述（如：在职业平台或约会平台上的自我描述）。
先前文献讨论了在线自我呈现的重要性，而能够产生类人自我呈现的AI系统可能会使人们在评定他人时参考的信号失效。另外，当人们可疑其他人在运用AI系统来生成或优化自我呈现时，就会降低对他人的人际信任。同期，人们在区别的情景中难以辨别AI生成的语言。与先前文献相比，本文供给了强有力的证据，显示人们运用有缺陷的启发式办法来检测AI生成的语言。 
科研过程
实验总述：为了检验人们怎样判断AI生成的自我呈现，本文仿照图灵测试进行了6个实验（3个重点实验+3个验证实验）。在图灵测试中，被试必须经过文本形式的对话识别AI。而本文的科研则需求被试判断个人自我呈现是由于真人还是AI系统所写的。 
1. 计算被试区分人类和AI生成的自我呈现的准确率
科研流程1：科研者需求4600名被试阅读总共7600个自我展示（由最先进AI生成的内容和从真实在线平台上收集的内容构成），并指出她们认为的由AI生成的内容。3个重点实验和3个验证实验分别在专业（如工作申请），浪漫（如在线约会）和酒店服务（如Airbnb）的背景下进行。首先进行重点实验。 
总体来讲，被试正确区分自我呈现源自的准确率仅为50-52%。在酒店服务的情景中，被试识别自我呈现的源自的准确率52.2%。在约会的情景中，本文测试了金钱激励是不是会加强被试的准确性。收到金钱激励的处理组准确率为51.6%。在专业的情景中，本文测试了给被试供给答案的反馈是不是会加强参与者的判断力。收到即时反馈的处理组准确率为51.2%。
另外，不存在单一的人口统计学组的表现比其他组更好的状况。虽然被试判断的准确性与随机判断的准确性相近，但被试的判断并不是随机的。被试判断之间的一致性明显高于随机概率（Fleiss‘ kappa = 0.07，P < 0.0001）。这就说明被试判断的一致性必定是因为被试在识别AI生成的语言时参考了共有的、但有缺陷的启发式线索。
2. 对被试自我报告中的启发式进行定性分析
科研流程2：在被试完成为了一半的评分后，科研者需求被试为之前做的一个判断供给解释（被试自我报告）。两名科研人员独立地对被试的回答样本进行了编码，并将它们分为区别主题：内容、语法、语气和形式。随后科研了被试用来判断AI生成语言的启发式，并进行了定性分析。
被试在做出判断时一般参考自我呈现的内容（40%）：与家庭和生活经历关联特定内容的自我呈现使得非常多被试认为这是真人创造的内容。语法线索（28%）亦是常参考的启发式：第1人叫作代词和对语法的把握被认为是真人创造语言的提示。有些被试认为语法错误与低水平的AI相关，其他被试认为语法错误与犯错的真人创作者相关。被试还经过语气（24%）来判断自我呈现的源自：将温暖和真诚的语言与人性联系起来，将非个人的、单调的风格与AI生成的语言联系起来。
3. 从自我呈现文本中提取语言特征
科研流程3：
因为人们对心理过程的自我报告可能不太靠谱乃至会误导科研者，本文无简单地从被试自我报告的启发式中得出结论，而是进一步从自我呈现文本中提取可能的关联语言特征以评定被试的判断。
3.1 本文经过计算创建了一系列在自我表现中显现的语言特征，包含对人格、心情和视角的测绘。
3.2 本文还进行了一个额外的标记任务，来创建没法被靠谱计算的语言特征。针对特征标记任务，科研者又招募了1300名众包工作者。需求她们阅读12份自我描述，并指出这些描述是不是无道理，是不是有语法错误，是不是像重复的内容。主实验中用到7000篇真人和AI生成的自我介绍，每一篇都由2 ~ 3名众包工作者(M = 2.3)对其进行评定。
结果显示，众包工作者在特征标记任务中的评分在必定程度上区分了真人书写和AI生成的自我呈现。众包工作者认为AI生成的自我呈现比AI编写的自我呈现更为荒谬（13.6% vs. 9.6%，P < 0.0001）。她们亦认定AI生成的自我呈现更加重复（12.7% vs. 7.1%，P < 0.0001），并发掘AI生成的自我呈现的语法问题更少（14.8% vs. 19.6%，P < 0.0001）。
3.3 科研者进一步探索了运用任务标签来区分AI和真人创造的自我呈现的可能性。科研者创建了一个归类器并且预测：当最少有三分之一的评分者将个人信息标记为荒谬或重复时，这份信息便是由AI生成的。运用归类器预测自我呈现源自的准确率为58.8%，而在主实验中，直接询问被试自我呈现源自的准确率为51.7%。
4. 定量检验语言特征是不是与重点实验中参与者的判断相关
科研流程4：科研者拟合了第1个回归模型，将选出的特征与被试对AI产生自我呈现的判断联系起来。随后，又运用了第二个模型来认识选出的特征是不是能够预测AI生成的自我呈现。回归模型中运用了优良比（以1为基准）。 
科研结果显示：如上表所示，在三个重点实验中，表的最左侧呈现了语言特征，中间呈现了那些特征能够预测被试认为是AI生成的自我呈现，最右侧呈现了那些特征实质上能够预测AI生成的自我呈现。
被试参考的线索，部分是有效的，而其他线索是有缺陷的。倘若自我呈现中有荒谬的内容，其被视为AI生成的可能性高出10.5%，而实质上该内容由AI生成的可能性高出23%。被试将拥有重复内容的自我呈现认定为AI生成内容的可能性高出8%，而实质上该内容由AI生成的可能性高出47%。
被试认为有语法问题的自我呈现是由于AI生成的可能性要高5%，而实质上有语法问题的自我呈现是AI生成的可能性要低15%。被试亦常将含有长单词或罕见双字内容的自我呈现视作由AI生成的内容，然则大都数长单词或罕见双字都是真人写的。
被试还认为运用第1人叫作、包括家庭内容的自我呈现更像人。自我呈现倘若更长，含有真实或有感而发的单词，或聚焦在过去的事件上，更有可能被认作是真人作品。然而，数据表示这些特征与真人创作或AI生成的自我呈现并无明显联系。
其他科研：AI预测被试的预测
随后，本文检测了自我呈现中的语言特征是不是能够用来预测被试的判断。运用以上语言特征的回归模型在保存的数据集上对被试判断的预测准确率达到了57.6%。
另外，科研者还检测了AI语言模型是不是能够在无特征输入的状况下学会预测人类对AI生成语言的判断。当前的语言模型预测了被试对AI生成语言的判断，其准确率为58.1%。结果显示，人们在判断AI生成语言时运用的有缺陷的启发式使得AI系统最少在必定程度上能够预测人类的判断。
5. 3个验证实验——检验语言模型是不是能够利用人们错误的启发式来制造出被认为更像人类的自我呈现
科研流程：在验证实验中，科研者重新准备了有些真人创作和AI生成的自我呈现，并且运用了主实验中的归类器来创造AI优化后的自我呈现，让其更拥有感知人性化。 
科研结果：被试认为AI优化后的自我呈现比AI常规的自我呈现和真人创作的自我呈现更拥有人性化。
在所有三个验证实验中：
AI优化后的自我呈现比AI常规的自我呈现更易被评为真人自我呈现（65.7% vs. 51.6%，P < 0.0001）。AI优化后的自我呈现与真人自我呈现相比，更有可能被当作是真人的作品（65.7% vs. 51.7%，P < 0.0001）。在专业情景中，优化后自我呈现的感知人性化的增多是最强的，而基于回归和语言模型的归类器组合生成的自我呈现有71%被当作是真人创作的。 
总结与讨论
重点发掘
人类没法辨别当前AI语言模型产生的语言自我呈现，可能的原由如下：首要，最先进AI系统生成的语言可能与真人的语言表达非常类似，靠谱线索的缺乏限制了判断的准确性。其次，人们的判断可能是不准确的，由于她们参考有缺陷的启发式办法来检测AI生成的语言。
其他思考
区别的切入视角影响了判断的准确性。虽然标记任务的结果显示AI生成的自我呈现中拥有某些人们可能检测到的特征。但当科研者直接让被试判断自我呈现是不是是由于AI生成时，被试判断的准确性仍然接近随机概率。
AI生成文本中类人性的增多并不必定显示设备智能的加强。不意见将人类没法检测到AI生成的语言解释为设备智能的标志，而是将其视为人类脆弱性的标志。
AI系统能够运用人们有缺陷的启发式来操作她们的判断，并产生被认为“比人更人性化”的语言。
本文针对AI生成语音披露发展的意见
与其训练AI语言系统模仿人类语言，不如优化AI系统使其在实现其交际功能的同期，保持人类直觉判断的有效性。经过设计，适应人类判断的限制和缺陷，能够真正支持人类交流，并减少AI语言乱用的危害。
谢谢阅读！
欢迎交流！
原文信息：
Human heuristics for AI-generated language are flawed
作者：Maurice Jakesch, Jeffrey T. Hancock, 和Mor Naaman
期刊：PNAS
发布时间：2023年3月
原文链接： https://doi.org/10.1073/pnas.2208839120
分享人信息：姚悦欣（海南大学国际商学院博士生） 
编辑｜姚悦欣
审阅｜许立扬 吴蔚
| 
发表于 2024-8-18 19:31:36