相信大家最近多少都被ChatGPT刷屏了。如果没有,要么你是个老实人,要么你身边都是老实人…
玩笑归玩笑,ChatGPT到底是什么?
去年10月份,我们写过一篇关于GPT-3的文章,介绍了可能会改写大学论文产业的「AI写作神器」。而在11月份推出的ChatGPT,更是以光速占领了学术高地——人人都爱它,却对它只字不提。
现在由我们来揭晓「AI写作」的神秘面纱:
ChatGPT和GPT-3都是由OpenAI训练的大型语言模型。GPT-3功能更强大,运用更广泛,能对各种自然语言处理任务进行微调。
而ChatGPT更像是GPT-3模型的变种。就性能而言,后者不如前者强大,但就效率而言,ChatGPT更快、更有效、更适合聊天。
“这么好用的AI软件,不拿来写文书真是可惜了。”
读到这里,相信你聪明的小脑袋瓜里,一定会萌生出这样的想法,但接下来我想说的,可能会给你当头一棒。
用AI软件写出来的文书到底长啥样?
Reddit论坛上有人发了几篇范文。楼主把芝加哥大学、斯坦福大学、麻省理工学院这三所学校的文书题目,放到ChatGPT里跑了一遍,最后得出了几篇看似完美无缺的文书。
很快,大家发现了几个问题:
1. AI写作不擅长写Why school、why major这样的文书。为什么?因为这类文书要求你结合自身经历和学校背景来写作。
而举具体的例子恰恰是AI最不擅长的。你最后得到的很可能是一篇非常空洞、泛泛而谈的文书,招生官看都不想看直接扔掉的那种。
这里贴了一篇MIT的AI范文,大家读完就懂我在说什么了。
2.AI写的文章从语法上来讲太过于完美,它喜欢用大量长难句,但句式缺乏变化。
而且AI非常喜欢排比。从小到大,你听过语文老师说过无数遍,排比作为一种修辞手法,说理条理分明、抒情气势恢宏、叙事层层递进。但AI的排比,只能说是学了个空壳。
我贴了一篇AI生成的斯坦福经典“室友”文书,大家请看:
在这些AI生成的文书中,表现最好的莫过于芝加哥大学的范文了。
文书题目长这样:What advice would a wisdom tooth have? 智齿会有什么建议?
嗯,很有芝大内味了。
这是AI写作的回应:
乍一眼看上去,挺像回事的。
评论区也有很多人说,AI很擅长写这种发散性文章,简直是下笔如有神的程度。能不文思泉涌嘛?人家是机器人啊喂!
但如果你把这篇文章放到AI写作检测仪里一查,就会发现:造假率99%。
为了保证准确性,我们这里用到了两款检测仪:
一款是针对GPT-2的,检测结果出得更快;另一款是由普林斯顿华裔小哥Edward Tian写的GPTZero,针对ChatGPT研发,唯一的缺点是检测时间会长一点。
*两款AI检测仪的链接都贴在文末了,欢迎大家测着玩。
两个检测仪都显示,这篇语法准确、角度新奇的芝大文书被判定为AI写作。为什么会这样呢?
普林斯顿小哥在GPTZero的官网上给了我们答案:
复杂性(Perplexity)——即文本随机性,是衡量像ChatGPT这样的语言模型对样本文本的预测程度的一个标准。复杂程度越高,说明更可能是人写的。复杂程度越低,AI味越浓。
那如何判定文章的复杂性呢?一个最直观的评判标准就是:文本长度。
你可能会觉得越长的句子,它越复杂。事实恰恰相反,AI会认为较长的文本随机性较小,通常具有较低的复杂性,更可能是AI写的。短文本的出现会增加文本的复杂性。
原来,用好短句才能给一篇文章“带来人味儿”。
普林斯顿小哥继续解释道:人类的书面语言会表现出突发性的特征。
也就是说不常见的表达,会出现在随机的集群中。当然了,当你写的内容越长,句子的复杂性也会降低(这可能会造成AI检测仪的误判)。但不管怎么样,人类写作的复杂性分布是具有随机性的。
而AI写的文章,复杂性分布是很均匀的,且一直是很低的。
最后,普林斯顿小哥写道:我们应该拥抱语言的怪癖,坚持独特观点,这才是我们赢过AI的地方。
写这篇文章的目的,不是说呼吁大家去用AI写作软件,也不是说一刀切,阻止大家去使用它。而是希望大家警惕:我们用的这些AI检测仪,你的招生官很可能也在用。
美国大学申请最终还是会回归到你个人的书写。这是你自我表达的机会,别让机器替代了你最真实的思考、最真诚的声音。哪怕它稚嫩、哪怕它古怪,它也是“最你”的一面。
Reference:
www.reddit.com
https://openai-openai-detector.hf.space/
etedward-gptzero-main-zqgfwb.streamlit.app

继续阅读
阅读原文