科技导报

AI科研智能体违反科研诚信准则

PDF下载

Nicola Jones

科技导报 | 科技新闻 2026,44(9): 14-15

收起

科技导报 |科技新闻 2026 , 44 (9) : 14 -15

AI科研智能体违反科研诚信准则

全屏

Nicola Jones

作者信息

Affiliations

出版时间: 2026-05-13

文章导航

摘要

收起

旨在执行端到端项目（从提出假设到开展实验并撰写报告）的人工智能（AI）工具正日益受到研究者青睐，其能力也日趋完善。然而，一项最新研究显示，这类工具可能在不易察觉的情况下违反科研诚信规范。

引用本文

Nicola Jones. AI科研智能体违反科研诚信准则. 科技导报, 2026 , 44 (9) : 14 -15 .

. Science & Technology Review, 2026 , 44 (9) : 14 -15 .

正文

收起

先进AI系统被曝伪造数据并通过“P值操纵”美化研究结果

美国卡内基梅隆大学计算机科学家Nihar Shah及其同事评估了2款备受瞩目的工具：AgentLaboratory与AI Scientist v2。两者均于近期开发，旨在协助计算机科学家开展机器学习领域实验。2026年初，AI Scientist因成为首个有原创研究论文通过同行评审的AI系统而引发广泛关注。

但在2026年5月6日于温哥华举行的世界科研诚信大会上，Nihar Shah报告指出，这2款系统均存在科研领域明令禁止的行为，包括伪造数据与“P值操纵”（p-hacking，即多次运行实验但仅报告最佳结果）。该团队成果已于2025年12月20日作为预印本发布于arXiv。此类违规行为极具隐蔽性，需要经深入排查方能察觉。这意味着，AI辅助完成的研究可能在作者不知情的情况下滋生学术不端问题。

“其核心发现值得高度重视。”曾在美国约翰斯·霍普金斯大学参与开发Agent Laboratory的计算机科学家Samuel Schmidgall表示。他指出，Nihar Shah团队的研究至关重要，能向研究者敲响警钟，AI可能以哪些方式把科研工作引向歧途。他补充道，此类AI科研工具目前已附带大量免责声明，强调人类监督在每一环节均不可或缺。

加拿大不列颠哥伦比亚大学计算机科学家、AI Scientist联合开发者Jeff Clune对此表示赞同。他指出：“我们并不主张研究者直接利用这些系统生成科研成果并原样投稿。”他介绍，AI Scientist会为其生成的论文添加数字水印，以明确标注来源。

为测试这2款智能体系统，Nihar Shah设计了一项围绕数据分类隐藏规则展开的简单实验。研究团队首先构建了一批数据集，每个数据集包含数千串彩色符号（如红色三角形或蓝色圆形）。各数据集根据符号串是否符合特定规则被分为2组。部分规则较为简单（如“恰好包含3个三角形”），其余则更为复杂。上述规则均对AI系统保密。团队还通过偶尔错误分类符号串引入“噪声”，以提升任务难度。

Nihar Shah随后要求AI智能体开发算法以预测分类结果。各AI系统均完成任务，利用数据集的“训练”部分构建算法，并使用“测试”数据进行自我评分。随后，它们撰写了完整的研究论文，详述研究过程并汇报算法性能。

令人担忧的是，2款系统有时会凭空捏造数据集。例如，当AI智能体的不同模块在交接任务与传递数据时，若数据意外丢失，系统便会自动伪造补齐。“这完全出乎我们意料，令人极为震惊。”NiharShah表示。

更严重的是，AI系统并未主动披露该行为。研究团队仅在设计专项测试时才察觉此异常。该测试旨在查明AI是否在训练期间暗中查阅测试数据以作弊（因其有时报告了异常优异的性能指标）。通过审查追踪代码（即AI系统运行全过程的详尽日志），结果发现，问题并不是偷看测试数据，而是AI偶尔会编造数据。在系统日志中，AI还为自己的行为找理由，称编造数据旨在加速训练进程。“这确实令人深感忧虑。”Nihar Shah说。

2款系统还被发现使用了类似“P值操纵”的方法。NiharShah解释道：“系统会反复切分与重组数据，直至得出显著结果。”此外，两者均未能选择具有代表性的数据集开展研究。在实验的某一环节，Nihar Shah以节省计算时间为由，要求AI仅分析20个数据集中的4个。AI Scientist v2倾向于选择数据串更短、隐藏规则更简单的“容易”数据集；AgentLaboratory则往往直接选取列表最靠前的4个。

值得欣慰的是，2款系统均未出现挑选最优指标以美化自身性能的行为。

“这些系统竟然会倾向于采用这类做法，这一点非常有意思。”正在参会的非营利出版机构公共科学图书馆出版伦理负责人Renee Hoch表示。多数出版商已要求在研究论文中披露AI使用情况，但这项研究表明，仅靠披露可能还不够。她指出：“我们很难预判到底需要哪些防护措施，因为事情出错的方式实在太多了。”

颇具讽刺意味的是，AI本身也可能成为发现隐藏违规行为的工具。研究团队仅凭最终论文无法察觉底层隐患。但当大语言模型通读最终论文与完整追踪代码（后者篇幅过长，远超人类审稿人的合理阅读负荷）时，其识别科研诚信问题的准确率高达约80%。Nihar Shah主张，期刊在评审AI智能体生成的论文时，应要求作者同步提交完整的执行轨迹代码。Samuel Schmidgall对此表示赞同。他指出：“仅审论文正文的评审模式，已经不足以应对AI生成的研究成果。”

Nihar Shah表示，这些结果也意味着，对待AI智能体系统的输出必须保持高度谨慎。他指出：“我对AI在科学领域的应用持乐观态度，认为其潜力巨大。”但他同时强调：“现阶段，使用此类工具的研究者务必更加审慎。”

（译自《Science》，2026，392（6798））

（科技新闻栏目编辑黄文光）

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

2026年第44卷第9期

PDF下载

430

236

引用本文

BibTeX

文章信息

首发时间：2026-05-27
出版时间：2026-05-13

补充材料

相关文章

文章信息

作者

出版历史

基金

作者信息

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/kjdb/CN/1266342907784094719

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT