人工智能写作检测器可信吗？我们深入探讨它们背后的理论。

一、背景

如果你将美国最重要的法律文件——美国宪法——输入一个旨在检测类似ChatGPT的AI模型所写文本的工具中，那么它会告诉你该文件几乎肯定是由AI撰写的。但除非詹姆斯·麦迪逊是时间旅行者，否则这不可能是真的。为什么AI写作检测工具会出现假阳性？我们采访了几位专家，以及AI写作检测器GPTZero的创建者，以了解原因。

在关于过度热衷的教授因怀疑使用AI写作工具导致整个班级不合格和孩子们被错误指控使用ChatGPT的新闻报道中，生成式AI已经让教育界感到不安。一些人认为这代表了一场生存危机。过去一个世纪以来依赖于文章作为衡量学生掌握主题的工具的传统已经引起了教师们的惊慌，他们一直在寻找保持现状的方法。

尽管依赖 AI 工具来检测人工智能生成的写作非常诱人，但迄今为止的证据表明它们并不可靠。由于存在误判，像 GPTZero、ZeroGPT 和 OpenAI 的文本分类器等 AI 写作检测器不能被信任来检测 ChatGPT 等大型语言模型（LLMs）生成的文本。

二、调研情况

一份来自于2023年4月的病毒截图显示，GPTZero在输入了美国宪法的部分内容后会说出：“你的文字很可能完全由人工智能所写。”

当给ZeroGPT喂US宪法的一部分时，它会说：“您的文本是由AI/GPT生成的。”

当OpenAI的文本分类器读取美国宪法的部分时，它会说：“如果这段文本是由人工智能生成的，该分类器会认为这是不清晰的。”

如果你向GPTZero输入美国宪法的一节，它会显示该文本“很有可能完全是由AI编写”的结果。在过去六个月中，其他AI检测器显示相似结果的屏幕截图在社交媒体上走红，引起混乱，并引起有关建国者是机器人的许多笑话。事实证明，选择圣经也会出现被AI生成的结果。

要解释为什么这些工具会犯如此明显的错误（并且通常会返回错误的结果），我们首先需要了解它们的工作原理。

三、理解人工智能检测背后的概念

不同的AI写作检测器使用略微不同的检测方法，但基本原理相同：有一个AI模型，它已经在大量的文本（包括数百万个写作样例）上进行了训练，并且有一组推断出的规则来确定该写作更有可能是人类生成还是AI生成的。

举个例子，在GPTZero的核心是一个神经网络，该网络受过训练，使用“大量多样化的人工撰写和人工智能生成的文本，重点放在英文散文上”，根据该服务的常见问题解答。接下来，系统使用“困惑度”和“爆发性”等属性来评估文本并进行分类。

在机器学习中，困惑度(perplexity)是衡量一段文本与AI模型在训练过程中所学习的内容相差多少的一种度量。如AI公司Hugging Face的Margaret Mitchell博士所说，“困惑度是‘根据我所见过的内容，这段语言有多令人惊讶’的一个函数。”

因此，衡量困惑度的思路是，当AI模型（例如ChatGPT）撰写文本时，它们会自然而然地借鉴它们从训练数据中学到的知识。输出越接近训练数据，困惑度评分就越低。人类的写作方式要混乱得多——或者至少是这个理论如此认为——但人类也可以写出困惑度低的文章，特别是在模仿法律或某些学术写作中使用的正式风格时。此外，我们使用的许多短语令人惊讶地常见。

假设我们在猜测短语“I’d like a cup of _____”中的下一个单词。大多数人会用“water”、“coffee”或“tea”填空。一个基于大量英语文本训练的语言模型也会做出相同的预测，因为这些短语在英语写作中经常出现。任何一个结果的困惑度都会很低，因为预测是相当确定的。

现在考虑一个不太常见的句子：“我想要一杯蜘蛛。”无论是人类还是经过良好训练的语言模型都会感到相当惊讶（或“困惑”），因此它的困惑度会很高。（截至本文撰写，短语“我想要一杯蜘蛛”在谷歌搜索中只有一个结果，而“我想要一杯咖啡”却有375万个结果。）

“‘我想要一杯蜘蛛’这个短语只有唯一的 Google 搜索结果。它不常用，因此它的复杂度非常高。理论上，机器不太可能写出这个短语。”

如果一篇文本的语言与模型的训练相符，那么它的困惑度会很低，因此AI检测器更有可能将该文本分类为AI生成。这就引出了美国宪法的有趣情况。实际上，宪法的语言已经深入到这些模型中，它们将其分类为AI生成，从而产生了误报。

GPTZero的创造者Edward Tian告诉Ars Technica：“美国宪法是许多大型语言模型重复输入的文本。因此，许多这些大型语言模型都被训练生成类似宪法和其他经常使用的训练文本的文本。GPTZero预测大型语言模型可能生成的文本，因此出现了这种引人入胜的现象。”

问题在于人类作家完全可以通过使用常用短语（例如“我想要一杯咖啡”）来创建低perplexity的内容，这严重破坏了AI写作检测器的可靠性。

《圣经》中《创世纪》的某一节被ZeroGPT标记为88.2%由人工智能生成。

GPTZero需要测量的文本的另一个属性是“Burstiness”，这指的是在文本中某些单词或短语在短时间内连续或“爆发”出现的现象。基本上，Burstiness评估了文本中句子长度和结构的变异性。

人类作家经常展现出动态的写作风格，其结果是一种具有可变句子长度和结构的文本。例如，我们可能会写一个又长又复杂的句子，接着是一个短小简单的句子，或者我们可能在一个句子中使用一连串的形容词，然后在下一个句子中没有。这种变化是人类创造力和自发性的自然结果。

另一方面，由AI生成的文本往往更加一致和统一，至少目前为止是如此。语言模型还处于初期阶段，生成的句子长度和结构更加规则。这种缺乏变化性可能导致爆发度评分较低，表明文本可能是由AI生成的。

然而，爆发性并不是检测人工智能生成内容的绝对指标。与困惑度一样，也存在例外情况。一个人类作家可能以高度结构化、一致的风格写作，导致其爆发性分数较低。相反，一个AI模型可能被训练以模拟更类似于人类的句子长度和结构的变化，提高其爆发性分数。事实上，随着AI语言模型的提高，研究表明它们的写作更像人类的写作。

归根结底，没有一种魔法公式可以始终区分出人类写作的文本和机器生成的文本。AI写作检测器可以作出较为准确的猜测，但误差范围太大，不能依赖它们获得准确的结果。

来自马里兰大学的研究人员进行的一项2023年的研究实证表明，针对人工智能生成文本的检测器在实际情况下不可靠，并且仅比随机分类器略好。它们不仅会返回误报，而且检测器和数字水印方案（旨在以特定方式修改词汇选择）很容易被“释义攻击”打败，这种攻击修改语言模型的输出，同时保留其意思。

“AI检测产品大多是毒蛇油”，AI研究员西蒙·威利森表示，“所有人都渴望它们起作用——尤其是教育领域的人——而且销售每个人都想要的产品很容易，尤其是当很难证明它是否有效时。”

此外，斯坦福大学研究人员最近的一项研究表明，人工智能写作检测对非母语英语者存在偏见，对他们的人工写作作品进行高误报率的删除，如果人工智能检测器被广泛使用，可能会在全球话语中对他们造成惩罚。

四、“虚假指控的代价”

一些教育工作者，例如沃顿商学院教授伊桑·莫利克，正在接受这种嵌入AI的新现实，甚至积极推广像ChatGPT这样的工具来辅助学习。莫利克的态度让人回想起一些老师如何处理口袋计算器进入课堂的情况：它们最初是有争议的，但最终被广泛接受。

Mollick最近在推特上表示：“目前没有一种工具可以可靠地检测ChatGPT-4 / Bing / Bard的写作。现有的工具都是基于GPT-3.5进行训练的，误判率很高（10%以上），而且很容易被击败。”此外，他补充道，ChatGPT本身也无法评估文本是否是由人工智能编写的，因此您不能只是粘贴文本并询问它是否是由ChatGPT编写的。

一张由人工智能生成的图像，展示一名学生正在得到机器人的帮助。

在与Ars Technica的一次谈话中，GPTZero的Tian似乎已经看到了写在墙上的字，并表示他计划将公司从纯粹的AI检测转向更加模糊的领域。他说：“与其他检测器（如Turn-it-in）相比，我们正在转变，不再建造用于抓学生的探测器，而是下一个版本的GPTZero将不再检测AI，而是突出显示最具人性的东西，并帮助教师和学生共同管理教育中的AI参与水平。”

他对使用GPTZero指控学生学术不诚实的做法有何感受？与传统的抄袭检测公司不同，Tian表示：“我们不希望人们使用我们的工具来惩罚学生。相反，对于教育用例，停止依赖个体层面（有些老师惩罚学生，有些老师使用AI技术则不介意）的检测，而是将这些技术应用于学校或学区乃至全国的层面上，因为在了解AI技术参与的程度和范围之前，我们如何制定应对学生使用AI技术的正确政策呢？”

然而，尽管存在精度上的固有问题，GPTZero仍自称为“专为教育者而建”，其网站自豪地展示了一份大学名单，声称这些大学使用该技术。田宁表达了不想惩罚学生的目标，但他也希望用自己的发明赚钱，这种矛盾存在一种奇怪的紧张关系。但无论动机如何，使用这些有缺陷的产品可能会对学生产生可怕的影响。使用这些不准确和不完美的工具最糟糕的结果可能是虚假指控给学生造成的个人代价。

2023年7月GPTZero网站的截图

《今日美国》报道的一件案例非常突出地揭示了这个问题。一位学生被控作弊，原因是根据AI文本检测工具的结果。他必须在荣誉委员会面前辩护。他为自己的辩护提供了Google文档历史，以证明他的研究过程。尽管荣誉委员会未发现作弊证据，但准备为自己辩护的压力导致这名学生经历了恐慌性发作。类似的情况在美国已经发生了几十次（如果不是几百次），并且通常在绝望的Reddit主题中记录下来。

学术不诚实的常见惩罚通常包括不及格、学业警告、停学甚至开除，这取决于违规的严重程度和频率。这是一个很难面对的指控，而使用有缺陷的技术来对付这些指控，几乎感觉像是现代学术审判。

五、AI写作是不可检测的，而且很可能会保持这种状态

鉴于虚假阳性的高比例和惩罚非英语为母语的人的潜在可能性，很明显，检测 AI 生成文本的科学还远非百分之百可靠 - 也很可能永远不会。人类可以像机器一样写作，机器也可以像人类一样写作。更有益的问题可能是：使用机器辅助写作的人是否理解他们在说什么？如果有人使用 AI 工具以一种他们不理解的方式填写事实内容，那么这很容易被一位有能力的读者或老师发现。

“AI写作助手已经来了，如果明智使用，AI语言模型可以在负责任和道德的前提下加速作文。教师可能希望鼓励负责任的使用，并提出问题，例如：这篇文章反映了作者的意图和知识吗？人类作者是否可以证明所包含的每个事实？”

一位既是教师又是学科专家的人可以在学生完成作业后对其进行测验，以了解他们对作业内容的理解程度。写作不仅是知识的展示，还是个人声誉的展示，如果人类作者不能对作品中表达的每个事实进行背书，那么AI的协助就没有得到适当的使用。

像任何工具一样，语言模型可以用的不好也可以用得很熟练。而且这种熟练程度也取决于上下文：你可以用一个油漆刷涂满整面墙，也可以创作出蒙娜丽莎。这两种情况都是工具的适当使用方式，但每种情况都需要不同程度的人类关注和创造力。类似地，一些机械化写作任务（例如生成标准化天气报告）可以适当地通过人工智能加速完成，而更为复杂的任务需要更多的人类关注和专注力。在这个问题上，没有黑白之分的解决方法。

目前，Ethan Mollick告诉Ars Technica，尽管教育工作者感到恐慌，他并不认为任何人应该使用AI写作检测器。 "我不是AI检测的技术专家，"Mollick说。 “作为一名与AI合作的教育工作者，我可以说，目前为止，AI写作是不可检测的，很可能会始终如此，AI检测器具有很高的误报率，因此不应使用。”

为什么AI检测器认为美国宪法是由人工智能编写的相关推荐

突破100万用户！华人本科生最强AI检测器GPTZero：美国宪法是AI写的
视学算法报道编辑:编辑部 [导读]现在,AI作弊检测器层出不穷.然而万万没想到,学生自己写的论文,竟然也会被判是AI生成的. ChatGPT的爆火,不仅让众多学生有了作弊利器,也让一众自己写 ...
福布斯2020年AI领域10大预测：人工智能越来越“边缘化”！
2020-03-23 17:12:45 毫无疑问,人工智能(AI)一直是2010年代的技术主题,随着新的十年的来临,这一趋势似乎不会消失.在过去的十年中,人们会回想起真正可以被视为"智能&q ...
AI：2021年WAIC世界人工智能大会2021年7月9日《可信AI论坛》、《AI引领探索保险科技新价值》、《产研共育·数智未来》等论坛演讲内容分享及解读
AI:2021年WAIC世界人工智能大会2021年7月9日<可信AI论坛>.<AI引领探索保险科技新价值>.<产研共育·数智未来>等论坛演讲内容分享及解读导读:2 ...
AI：几张图理清人工智能与机器学习、知识发现、数据挖掘、统计学、模式识别、神经计算学、数据库之间的暧昧关系
AI:几张图理清人工智能与机器学习.知识发现.数据挖掘.统计学.模式识别.神经计算学.数据库之间的暧昧关系目录几张图理清人工智能与机器学习.知识发现.数据挖掘.统计学.模式识别.神经计算学.数据库 ...
AI：2020年WAIC世界人工智能大会2020年7月9日9:30-12:00开幕式《李彦宏、Elon Musk、马云等大佬演讲》
AI:2020年WAIC世界人工智能大会2020年7月9日9:30-12:00开幕式<李彦宏.Elon Musk.马云等大佬演讲> 导读:大会开幕式由政府领导.顶尖科学家和知名企业家等演讲 ...
AI公开课：18.05.05 施尧耘(阿里云量子技术CS)—清华AI第四讲之《人工智能与量子计算》Quantum课堂笔记——带你了解量子计算
AI公开课:18.05.05 施尧耘(阿里云量子技术CS)-清华AI第四讲之<人工智能与量子计算>Quantum课堂笔记--带你了解量子计算导读清华大学"人工智能前沿与产业趋 ...
长文 | 腾讯提出 AI For FEW 构想，呼吁人工智能为地球思考
美国当地时间 4 月 3 日,联合国人居署与腾讯在纽约联合国总部共同举办主题研讨会,探讨地球所面临的最基础的挑战,以及如何利用人工智能(AI)等新兴技术提供解决方案,创新高效地实现可持续发展目标.联合 ...
AI经典书单：入门人工智能该读哪些书？
快问快答:学习人工智能该读哪些书可以快速入门呢?我的答案是多读经典书.方向对了即使慢点,总会走向成功的终点.而该读哪些书,我带来了五份经典书单. 人工智能有多火,相信铺天盖地的新闻已经证实了这一点,不 ...
合适学习人工智能的小白的一本书《极简AI入门：一本书读懂人工智能思维与应用》
今天看了一本书<极简AI入门:一本书读懂人工智能思维与应用> 对于初学人工智能的小白来说,应该是非常容易看得懂的,书里罗列了人工智能需要学习的各个技能,可以把这本书当作学习人工智能的目录( ...

为什么AI检测器认为美国宪法是由人工智能编写的