11月6日McKenzie Prillaman发表在Nature新闻网站的报道称,基于机器学习的工具利用写作风格特征来区分人类或AI作者。
根据11月6日发表在Cell Reports Physical Science上的一项研究,机器学习工具可轻松识别使用ChatGPT撰写的化学领域论文。这个专业分类器在两个现有的AI检测器中表现出色,可以帮助学术出版商识别由AI文本生成器创建的论文。
“大多数文本分析领域都希望有一个真正通用的检测器,可适用任何情况。” University of Kansas in Lawrence化学家Heather Desaire说。但通过制作专注于特定类型的论文工具,“我们真正追求的是准确性”。研究表明,通过将软件定制为特定类型的写作,可以加快开发AI检测器,Desaire表示,“如果你能快速轻松地构建一件事情,那么为不同领域构建东西并不难。”
文风要素
Desaire和她的同事们于今年6月首次描述了该ChatGPT检测器,他们将其应用于《科学》杂志的Perspective文章,该检测器检查了20种写作风格特征,包括句子长度变化、词语和标点符号频率,以确定是一位学术科学家还是ChatGPT撰写了文本。研究显示,“你可使用一小组特征来获得较高的准确性”,Desaire说道。
新的ChatGPT捕捉器甚至在没有接受训练的期刊引言中表现良好,并且能够捕捉到由各种提示创建的AI文本,包括混淆AI检测器的提示。然而,该检测器要求科学期刊论文专业化。当面对大学报纸上的真实文章时,它无法识别出是由人类撰写。
更广泛的议题
Debora Weber-Wulff是一位计算机科学家,她在柏林应用科技大学研究学术抄袭。她说,作者所做的是“令人着迷的事情”。她表示,许多现有工具试图通过搜索AI生成写作的预测性文本模式来确定作者身份,而不是通过观察写作风格的特征。她说:“我从未想过在ChatGPT上使用文体学。”
但Weber-Wulff指出,在学术界使用ChatGPT存在其他问题,许多研究人员面临着迅速撰写论文的压力,或他们可能不认为撰写论文的过程是科学的重要部分。AI检测工具无法解决这些问题,也不应被视为“解决社会问题的神奇软件解决方案”。