《“ChatGPT检测器”可准确捕捉到AI生成论文》

  • 来源专题:数智化图书情报
  • 编译者: 程冰
  • 发布时间:2023-11-12
  • 11月6日McKenzie Prillaman发表在Nature新闻网站的报道称,基于机器学习的工具利用写作风格特征来区分人类或AI作者。

    根据11月6日发表在Cell Reports Physical Science上的一项研究,机器学习工具可轻松识别使用ChatGPT撰写的化学领域论文。这个专业分类器在两个现有的AI检测器中表现出色,可以帮助学术出版商识别由AI文本生成器创建的论文。

    “大多数文本分析领域都希望有一个真正通用的检测器,可适用任何情况。” University of Kansas in Lawrence化学家Heather Desaire说。但通过制作专注于特定类型的论文工具,“我们真正追求的是准确性”。研究表明,通过将软件定制为特定类型的写作,可以加快开发AI检测器,Desaire表示,“如果你能快速轻松地构建一件事情,那么为不同领域构建东西并不难。”

    文风要素

    Desaire和她的同事们于今年6月首次描述了该ChatGPT检测器,他们将其应用于《科学》杂志的Perspective文章,该检测器检查了20种写作风格特征,包括句子长度变化、词语和标点符号频率,以确定是一位学术科学家还是ChatGPT撰写了文本。研究显示,“你可使用一小组特征来获得较高的准确性”,Desaire说道。

    新的ChatGPT捕捉器甚至在没有接受训练的期刊引言中表现良好,并且能够捕捉到由各种提示创建的AI文本,包括混淆AI检测器的提示。然而,该检测器要求科学期刊论文专业化。当面对大学报纸上的真实文章时,它无法识别出是由人类撰写。

    更广泛的议题

    Debora Weber-Wulff是一位计算机科学家,她在柏林应用科技大学研究学术抄袭。她说,作者所做的是“令人着迷的事情”。她表示,许多现有工具试图通过搜索AI生成写作的预测性文本模式来确定作者身份,而不是通过观察写作风格的特征。她说:“我从未想过在ChatGPT上使用文体学。”

    但Weber-Wulff指出,在学术界使用ChatGPT存在其他问题,许多研究人员面临着迅速撰写论文的压力,或他们可能不认为撰写论文的过程是科学的重要部分。AI检测工具无法解决这些问题,也不应被视为“解决社会问题的神奇软件解决方案”。

  • 原文来源:https://www.nature.com/articles/d41586-023-03479-4
相关报告
  • 《“ChatGPT检测器”以前所未有的准确性捕捉到AI生成的论文》

    • 来源专题:数智化图书情报
    • 编译者:程冰
    • 发布时间:2023-11-08
    • 根据11月6日发表在《细胞报告物理科学》上的一项研究,机器学习工具可以轻松识别出使用聊天机器人ChatGPT撰写的化学论文。这个专门的分类器在两个现有的人工智能(AI)检测器中表现出色,可以帮助学术出版商识别由AI文本生成器创建的论文。 “大部分文本分析领域都希望有一个真正通用的检测器,可以适用于任何情况。”堪萨斯大学劳伦斯分校的化学家Heather Desaire说道。但是通过制作一个专注于特定类型纸张的工具,“我们真正追求的是准确性”。 研究结果表明,通过将软件定制为特定类型的写作,可以加快开发AI检测器的努力,德赛尔表示。“如果你能快速轻松地构建一件事情,那么为不同领域构建东西并不难。” 风格的要素 Desaire和她的同事们于今年6月首次描述了他们的ChatGPT检测器,当时他们将其应用于《科学》杂志的Perspective文章。通过机器学习,该检测器检查了20个写作风格的特征,包括句子长度的变化以及某些词语和标点符号的频率,以确定是一位学术科学家还是ChatGPT撰写了一段文本。研究结果显示,“你可以使用一小组特征来获得较高的准确性”,Desaire说道。 新的ChatGPT捕捉器甚至在没有接受训练的期刊引言中表现良好,并且能够捕捉到由各种提示创建的AI文本,包括旨在混淆AI检测器的提示。然而,该系统对科学期刊文章非常专业化。当面对大学报纸上的真实文章时,它无法识别出它们是由人类撰写的。 更广泛的问题 德博拉·韦伯-沃尔夫(Debora Weber-Wulff)是一位计算机科学家,她在柏林应用科技大学研究学术抄袭。她说,作者所做的是“令人着迷的事情”。她表示,许多现有的工具试图通过搜索AI生成写作的预测性文本模式来确定作者身份,而不是通过观察写作风格的特征。她说:“我从未想过在ChatGPT上使用文体学。” 但是韦伯-沃尔夫指出,在学术界使用ChatGPT存在其他问题。她指出,许多研究人员面临着迅速撰写论文的压力,或者他们可能不认为撰写论文的过程是科学的重要部分。AI检测工具无法解决这些问题,也不应被视为“解决社会问题的神奇软件解决方案”。
  • 《Science子刊:快速、廉价的检测方法无需PCR就可准确检测COVID-19病毒》

    • 来源专题:生物安全知识资源中心—领域情报网
    • 编译者:hujm
    • 发布时间:2022-02-20
    • 在一项新的研究中,来自美国华盛顿大学的研究人员开发出一种新的COVID-19测试方法,它结合了非处方抗原测试的速度和在医学实验室和医院进行的PCR测试的准确性。这种称为Harmony COVID-19的测试方法是一种诊断性测试,它与针对COVID-19的PCR测试一样,检测来自SARS-CoV-2病毒的遗传物质。但是,传统的PCR测试可能需要几个小时,而HarmonyCOVID-19试剂盒对某些样本可以在20分钟内提供结果,并且具有类似的准确性。相关研究结果近期发表在Science Advances期刊上,论文标题为“Harmony COVID-19: A ready-to-use kit, low-cost detector, and smartphone app for point-of-care SARS-CoV-2 RNA detection”。 论文通讯作者、华盛顿大学生物工程副教授Barry Lutz说,“我们设计的测试方法是低成本的,简单到可以在任何地方使用。我们希望,低成本将使高性能测试在当地和世界各地更容易获得。” 这些作者开发的Harmony COVID-19是简单和易于使用的,采用的是即用型试剂。该测试方法使用一种“类似于PCR”的方法,借助一种小型、低成本的检测器检测鼻拭子样本中是否存在SARS-CoV-2 RNA基因组,该检测器也是由Lutz团队设计的。智能手机被用来操作该检测器并读取结果。该检测器一次最多可处理四个样本,可以放进一辆标准汽车的手套箱里。 在整个大流行病期间,COVID-19测试的准确性一直是一个紧迫的问题。许多在家检测COVID-19的抗原试剂盒,检测的是SARS-CoV-2产生的蛋白片段,而不是其遗传物质,准确率为80%~85%,但Omicron变体的准确率可能会下降,因为Omicron变体含有相对较多的其他SARS-CoV-2毒株所没有的突变。PCR测试通常有95%的准确率或更好---这是FDA的一个关键基准,但需要昂贵的设备和长时间的等待才能获得检测结果。 这篇论文中报告的初步结果显示,Harmony COVID-19试剂盒对鼻腔拭子的准确率为97%。该试剂盒可以检测SARS-CoV-2病毒基因组的三个不同区域。如果一种新的变体在一个区域有许多突变,这种新的测试方法仍然可以检测到其他两个区域。例如,它可以检测Omicron变体,该变体在编码它的刺突蛋白的基因组区域发生几十个突变。 尽管基于PCR的测试非常准确,但一个关键的限制是PCR测试需要几十个加热和冷却的循环来检测样品中的遗传物质。Lutz团队开发的这种测试方法通过依靠一种称为RT-LAMP的的扩增方法规避了这个问题,这种方法没有同样严格的温度循环要求。Lutz说,“这种测试方法在恒温下进行,因此它消除了加热和冷却的时间,并在大约30分钟内给出结果。” Lutz和两位同事从华盛顿大学分离出了一家新公司---Anavasi诊断公司(Anavasi Diagnostics),该公司去年得到了WE-REACH项目30万美元的支持,后来又从美国国立卫生研究院获得了1490万美元的拨款,用于将Harmony COVID-19原型试剂盒开发成产品并扩大生产规模,以帮助解决COVID-19诊断测试的持续短缺问题。 最初,Lutz和他的团队希望这些试剂盒可以首先在诊所以及其他有医疗监督的环境中使用,如工作场所和学校。后来,他们希望能将这种测试加以改进,可以家庭使用。 Lutz说,“长期以来,人们的选择要么是昂贵的PCR测试,这通常需要一天或更长时间才能得到结果;要么是快速抗原测试,可以快速得到结果,成本低,但通常比实验室PCR测试的准确性低。从第一天起,我们就把我们的测试设计成可以低成本和大批量制造,同时以类似PCR的性能提供快速结果。” Lutz说,“我们计划让我们的测试在全世界范围内都能使用,并且价格合理。” 参考资料: Nuttada Panpradist et al. Harmony COVID-19: A ready-to-use kit, low-cost detector, and smartphone app for point-of-care SARS-CoV-2 RNA detection. Science Advances, 2021, doi:10.1126/sciadv.abj1281.