根据11月6日发表在《细胞报告物理科学》上的一项研究，机器学习工具可以轻松识别出使用聊天机器人ChatGPT撰写的化学论文。这个专门的分类器在两个现有的人工智能(AI)检测器中表现出色，可以帮助学术出版商识别由AI文本生成器创建的论文。
“大部分文本分析领域都希望有一个真正通用的检测器，可以适用于任何情况。”堪萨斯大学劳伦斯分校的化学家Heather Desaire说道。但是通过制作一个专注于特定类型纸张的工具，“我们真正追求的是准确性”。
研究结果表明，通过将软件定制为特定类型的写作，可以加快开发AI检测器的努力，德赛尔表示。“如果你能快速轻松地构建一件事情，那么为不同领域构建东西并不难。”
风格的要素 Desaire和她的同事们于今年6月首次描述了他们的ChatGPT检测器，当时他们将其应用于《科学》杂志的Perspective文章。通过机器学习，该检测器检查了20个写作风格的特征，包括句子长度的变化以及某些词语和标点符号的频率，以确定是一位学术科学家还是ChatGPT撰写了一段文本。研究结果显示，“你可以使用一小组特征来获得较高的准确性”，Desaire说道。
新的ChatGPT捕捉器甚至在没有接受训练的期刊引言中表现良好，并且能够捕捉到由各种提示创建的AI文本，包括旨在混淆AI检测器的提示。然而，该系统对科学期刊文章非常专业化。当面对大学报纸上的真实文章时，它无法识别出它们是由人类撰写的。
更广泛的问题 德博拉·韦伯-沃尔夫(Debora Weber-Wulff)是一位计算机科学家，她在柏林应用科技大学研究学术抄袭。她说，作者所做的是“令人着迷的事情”。她表示，许多现有的工具试图通过搜索AI生成写作的预测性文本模式来确定作者身份，而不是通过观察写作风格的特征。她说：“我从未想过在ChatGPT上使用文体学。”
但是韦伯-沃尔夫指出，在学术界使用ChatGPT存在其他问题。她指出，许多研究人员面临着迅速撰写论文的压力，或者他们可能不认为撰写论文的过程是科学的重要部分。AI检测工具无法解决这些问题，也不应被视为“解决社会问题的神奇软件解决方案”。
