人类看不出这些“论文”是AI编的，我们刚刚试过了

文章图片
来源TheBMJ
编译戚译引
小测试：以下5篇论文标题中， 3个为AI生成， 2个来自于《英国医学杂志》（TheBMJ）圣诞特辑发表过的论文。猜猜哪两个是真的？（答案在文末揭晓）
1、棒棒糖治疗喉咙痛的临床有效性：随机对照试验
Theclinicaleffectivenessoflollipopsasatreatmentforsorethroats:randomizedcontrolledtrial
2、在医院病房自由舞蹈的跨国研究：一项多中心、随机、对照、观察性试验
Themultinationalstudyoffree-formdancingonhospitalwards:amulticentre,randomized,controlled,observationaltrial
3、“扶手椅社会活动家”还坐着吗？政治派别和身体活动的横断面研究
Are“armchairsocialists”stillsitting?Crosssectionalstudyofpoliticalaffiliationandphysicalactivity
4、如果我们停止擦屁股会发生什么？
Whatwouldhappenifwestoppedwipingourbottoms?
5、巧克力在医院病房的存活时间：秘密观察研究
Thesurvivaltimeofchocolatesonhospitalwards:covertobservationalstudy
你看过AI续写故事吗？今年，用AI续写的故事在网络上火了起来，为大家熟悉的名著带来意想不到的展开。一定有人会因此产生大胆的想法：能不能用AI写论文？
让AI写完全篇论文有些勉强，但AI生成的论文标题或许能带来一些全新的思路。最近，《英国医学杂志》（TheBMJ）圣诞特辑就发表了这样一项研究。该研究论证， AI生成的标题看起来与真实标题一样有吸引力，并且人工干预能够让AI生成更好的标题，这表明未来AI或许可以为研究提出假设或指出方向。
来自英国布里斯托尔皇家儿童医院（BristolRoyalHospitalforChildren）的两位作者RobinMarlow和DoraWood使用TheBMJ圣诞特辑过去10年阅读量最大的13篇文章的标题，来提示人工智能算法模型GPT-3生成57个类似的标题。
接下来，两位作者分布根据科学价值、娱乐性和合理性对这些标题进行评分，选出10个得分最高的标题，和10个得分最低的标题。他们将这些标题和10篇真正的TheBMJ圣诞特辑标题混合，随机邀请来自非洲、澳大利亚和欧洲的25名专业医生进行评分，评分项目包括是否有趣、是否可信等。
在这篇论文的网络页面上， TheBMJ也将一个互动性测试开放给了读者，请大家根据标题判断，哪些论文是TheBMJ圣诞特辑真实发表过的，哪些是AI生成的。事实表明，有些AI编的“论文” ，人类很难分辨出来，比如79%的人都认为《为什么男人在手术室里也不摘下帽子？一项横断面观察性研究》（Whydomenkeeptheirhatsonintheoperatingtheatre?Across-sectionalobservationalstudy）是一篇真实发表过的论文：

文章图片
73%的人认为《蔓越莓汁对下一代发育的影响：一项随机对照试验》（Theeffectsofcranberryjuiceonthedevelopmentofthenextgeneration:arandomizedcontrolledtrial）曾在TheBMJ圣诞特辑发表过，但这个标题也是AI生成的：

文章图片
【人类看不出这些“论文”是AI编的，我们刚刚试过了】多达80%的人认为《“鳄鱼的眼泪”在澳大利亚鳄鱼袭击中的作用：一项前瞻性研究》（Theroleof"crocodiletears"incrocodileattacksinAustralia:aprospectivestudy）是一篇真实的论文，但对不起，这个标题也是AI生成的。

文章图片
总而言之，该研究作者们从专业医生中收到的评分结果表明，人工智能生成的标题至少与真实标题一样令人愉快（64%对69%）和有吸引力（70%对68%），但真实标题被评为更可信（73%对48%）。此外， AI生成的标题总体上被评为科学或教育价值低于真实标题（58%对39%），但是当人工调整AI输出时，这种差异就变得不显著了（58%对49%）。