美国教授用 ChatGPT「证实」论文抄袭，半个班学生惨遭挂科

原文标题：《离谱！美国教授用 ChatGPT「证实」论文抄袭，半个班学生惨遭挂科》

天下苦 GPT 检测器久矣！用 AI 的怕被揪出来，没用 AI 的怕被冤枉。最近，又发生了一起被 AI 误判的冤假错案。

离了个大谱！

辛辛苦苦码出的毕业论文，居然被教授拿去放在 ChatGPT 里检测，然后就被判定为抄袭？

教授因此挂掉了全班一半的人，然后学校还因此拒发毕业证？

教授：被 ChatGPT 认领的，都得 0 分

最近，在得克萨斯农工大学（Texas A&M），发生了这样一件令人哭笑不得的事。

为了检测学生提交的论文是否作弊，一位名叫 Jared Mumm 的教授把他们的论文提交给了 ChatGPT。

他对学生们说：我会把你们的论文复制粘贴到 ChatGPT 中，它会告诉我，你们的论文是不是它生成的。

「我会在两个不同的时间段里，把每个人的最后三篇论文放进去，如果这两次它们都被 ChatGPT 认领了，我就会给你 0 分。」

显然，没有任何计算机相关背景知识的 Mumm 教授，对 ChatGPT 的原理一窍不通。

实际上，ChatGPT 并不能识别由 AI 创建的内容，即使是它自己写的都不行。

甚至，他连 ChatGPT 都没拼对 -- 直接写成了「Chat GPT」以及「chat GPT」。

结果，全班有一多半人的论文被 ChatGPT 不负责任地「认领」，因而挂了这一科。

更倒霉的是，大多数已毕业学生的文凭，因此直接被学校拒发了。

当然，Mumm 教授也不是毫不留情，他为全班同学提供了重做作业的机会。

如何证明自己没用 ChatGPT？

收到上面这封邮件后，几名学生写信给 Mumm 力证自己的清白。他们提供了带有时间戳的 Google Docs，来证明自己并没有使用 ChatGPT。

但 Mumm 教授直接无视了这些电子邮件，只在几个学生的评分软件中留下了这样的回应 -- 我不给 AI 生成的狗屎评分。

不过，还是有学生「平反」了，据说，已经有一名学生被「无罪释放」，并且得到了 Mumm 的道歉。

然而，让情况更复杂的事，有两名学生「挺身而出」，承认自己的确在本学期使用过 ChatGPT。

这一下子就让其他没有用 ChatGPT 写论文的学生，更难自证清白了……

对此，得克萨斯农工大学商学院表示正在调查这一事件，但并没有学生不及格，也没有人因为这个问题被延毕。

学校表示，Mum 教授正在一对一地与学生谈话，了解他们写作业的过程中是否使用了 AI，使用到了什么程度。个别学生的文凭将被扣留，直到调查完成。

而学生们表示，自己并没有获得文凭。

目前，事件还在调查中。

用 ChatGPT 检测 ChatGPT？

那么问题来了，ChatGPT 能证明一篇文章是不是自己写的吗？

来源：B站UP 主「子羡 nike」

对此，我们基于教授这封邮件的内容，问了问 ChatGPT 的观点：

ChatGPT 一上来就表示，自己并没有能力验证内容的原创性，以及是不是由 AI 生成的。

「这位老师似乎误解了像我这样的 AI 是如何工作的。虽然 AI 可以根据提示生成文本，但它不能确定另一篇文本是否由人工智能生成。」

话虽如此，但这并不能拦住爱整活的网友。

他们来了一出「以其人之道还治其人之身」，在线教 Mumm 教授做人。

首先，ChatGPT 表示，教授写的这封邮件，正是出自自己之手。

紧接着，网友又复刻了 Mumm 教授的做法 --

拿一段看起来像是某篇论文的节选，来问 ChatGPT 是不是它写的。

这次，ChatGPT 虽然没说是自己写的，但基本上确定内容就是来自 AI。

其中，有几个特征与 Al 生成的内容一致：

1. 文本是连贯的，遵循一个清晰的结构，从一般到具体。

2. 准确地引用了来源和数字数据。

3. 正确地使用了术语，这是典型的 Al 模型的特点。比如 GPT-4，就是在包括科学文献在内的各种文本中训练出来的。

上下滑动查看全部

那么实际上，这段内容的出处是哪里呢？

有意思的地方来了，没想到竟然是 Mumm 教授自己写的博士论文！

AI 检测器并不灵？

既然 ChatGPT 无法检验一段内容是不是 AI 生成的，那什么可以呢？

自然是为此专门诞生的「AI 检测器」，号称是用魔法打败魔法。

众多 AI 检测器中，最出名的一个便是由普林斯顿华人本科生 Edward Tian 创建的 GPTZero-- 它不仅免费，而且效果拔群。

只需把文字复制粘贴进去，GPTZero 就可以明确地指出一段文字中，哪段是 AI 生成的，哪段是人类写的。

原理上，GPTZero 主要靠「困惑度」（文本的随机性）和「突发性」（困惑度的变化）作为指标进行判断。

在每次测试中，GPTZero 还会挑选出困惑度最高的那个句子，也就是最像人话的句子。

但这个方法其实并不完全可靠，虽然 GPTZero 声称产品的假阳性率 < 2%，但这个数据更多是基于对新闻类内容的评判。

在实测中，有人曾把美国宪法输入 GPTZero，结果被判定是 AI 写的。

而刚刚那段 ChatGPT 的回复，GPTZero 则认为很可能完全是由人类写的。

这导致的后果就是，不了解其中原理、太固执的老师，就会无意中冤枉很多学生，比如 Mumm 教授。

所以，如果遇到这种情况，我们该怎么自证清白？

有网友提议，类似「美国宪法实验」，把 ChatGPT 出现之前的文章丢进 AI 检测器，看看结果如何。

然而，从逻辑上讲，即使能证明 AI 检测器确实不靠谱，学生也无法直接证明自己的论文不是由 AI 生成的。

问一下 ChatGPT 怎么破，它是这么说的。

「让老师理解 AI 的工作方式和局限性」，嗯，ChatGPT 发现了华点。

目前小编唯一想到的答案是，如果不在教授眼皮底下直接写，那就每次写论文都录屏，或者干脆给教授开直播。

连 OpenAI 对于自己的官方 ChatGPT 检测器，也只能保证 26% 的「真阳性」正确率。

他们还特地发了官方声明给大家打预防针：「我们真的不建议孤立地使用这个工具，因为我们知道它可能出错，使用 AI 进行任何种类的评估都是如此」。

AI 内容检测为何如此困难？

目前市面上已有的检测器已经数不胜数 --GPTZero、Turnitin、GPT-2 Output、Writer AI 、Content at Scale AI 等等，但准确率都差强人意。

那么，为什么我们想检测一段内容是不是 AI 生成的，就这么困难？

Turnitin 的 AI 副总裁 Eric Wang 称，用软件检测 AI 写作的原理，是基于统计学。从统计学的角度来看，AI 与人类的区别在于，它极其稳定地处于平均水平。

「像 ChatGPT 这样的系统就像是自动补全的高级版本，寻找下一个最可能要写的单词。这实际上就是它为什么读起来如此自然的原因。AI 写作是人类写作中最可能的子集。」

Turnitin 的检测器便会「识别出书写过于一致的平均情况」。然而，有时人类的写作看起来也会处于平均水平。

在经济学、数学和实验室报告中，学生倾向于遵循固定的写作风格，这意味着他们更有可能被误认为是 AI 写作。

更好笑的是，前不久的一篇论文中，来自斯坦福大学的研究团队发现：对于非母语者的论文，GPT 检测器更容易判为 AI 写的。其中，中国人写的英文论文被判为 AI 生成的概率，高达 61%。

研究人员从中国的教育论坛上获取了 91 篇托福作文，又从美国 Hewlett 基金会的数据集中摘取了 88 篇美国八年级学生写的作文，输进了 7 大 GPT 检测器。

可以看到，美国学生的作文被误判的概率最高才 12%，而中国学生的作文，概率基本过半，甚至高达 76%。

研究者的结论是，因为非母语者写的东西不地道，复杂度低，容易被错判。

可见，以复杂度来判定作者是人类还是 AI，并不合理。

抑或，背后还有其他原因？

对此，英伟达科学家 Jim Fan 称，检测器在很长一段时间内都是不可靠的。毕竟 AI 会变得越变越强，并且会以越来越像人类的方式写作。

可以肯定地说，随着时间的推移，这些语言模型的小怪癖会越变越少。

不知这对学生们，会是福音还是噩耗。

参考资料：

• https://www.rollingstone.com/culture/culture-features/texas-am-chatgpt-ai-professor-flunks-students-false-claims-1234736601/

本文来自微信公众号：新智元 （ID：AI_era）