Article(id=1329419390925254852, tenantId=1146029695717560320, journalId=1324759914146529478, issueId=1329419378451394604, articleNumber=null, orderNo=null, doi=10.7544/issn1000-1239.202550700, pmid=null, cstr=null, oa=null, hot=null, price=null, onlineType=0, articleFormat=0, articleType=null, articleTypeStr=null, receivedDate=1758384000000, receivedDateStr=2025-09-21, revisedDate=1766937600000, revisedDateStr=2025-12-29, acceptedDate=null, acceptedDateStr=null, onlineDate=1794887882214, onlineDateStr=2026-11-17, pubDate=1774972800000, pubDateStr=2026-04-01, doiRegisterDate=null, doiRegisterDateStr=null, onlineIssueDate=1794887882214, onlineIssueDateStr=2026-11-17, onlineJustAcceptDate=null, onlineJustAcceptDateStr=null, onlineFirstDate=null, onlineFirstDateStr=null, sourceXml=null, magXml=null, createTime=1794887882214, creator=13701087609, updateTime=1794887882214, updator=13701087609, issue=Issue{id=1329419378451394604, tenantId=1146029695717560320, journalId=1324759914146529478, year='2026', volume='63', issue='4', pageStart='825', pageEnd='1093', issueExtLink='null', onlineDate='null', pubDate='1774972800000', pubDateStr='2026-04-01', beforeIssueId=null, nextIssueId=null, price=null, status=1, issueComplete=1, articleOrder=1, issueType=-1, specialIssue=null, createTime=1794887879240, creator='13701087609', updateTime=1794887879240, updator='13701087609', preIssue=null, nextIssue=null, articleTotal=null, ext=null, issueFiles=null, downloadFileDto=null}, startPage=827, endPage=853, ext={EN=ArticleExt(id=1329419391130775749, articleId=1329419390925254852, tenantId=1146029695717560320, journalId=1324759914146529478, language=EN, title=Requirement Ambiguity Detection Method Based on Large Language Model, columnId=1329419379227340845, journalTitle=Journal of Computer Research and Development, columnName=Special Issue on LLMs and Software Engineering, runingTitle=null, highlight=null, articleAbstract=

In modern software development, requirements ambiguity is a key factor that leads to project failure, cost overruns, and quality issues. Therefore, the automatic detection of requirement ambiguity has been extensively studied. Although these methods reduce the time cost of manual review, their solutions are incomplete for the types of ambiguity detection, and it is difficult to fully cover the six types of ambiguity corresponding to language ambiguity. The traditional method lacks the ability of in-depth semantic understanding, logical relationship recognition and quotation/referential relationship recognition, which limits its semantic processing ability and cannot detect pragmatic ambiguity and linguistic error ambiguity. To this end, we propose a large language model-based method called LMAdetect for automatic detection of requirements ambiguity. For a given requirement, LMAdetect analyzes the requirement according to the heuristic rules and the large language model, and classifies the requirement detection into the corresponding ambiguity type. However, large language models often classify different types of ambiguity, and for the classification results of large language models, LMAdetect uses a rule-based algorithm to assign different types of ambiguity to different experts for detection. Finally, the detection results are summarized according to the confidence level, and the classification results with high confidence are output. Experiments on 1192 data of 6 ambiguity types show that compared with the traditional rule-based method, the F1 score of LMAdetect is increased by 34.4%, and compared with the method based on large language model, the F1 score is increased by 31.6%, and the F1 score of pragmatic ambiguity and linguistic error ambiguity detection reaches 0.6950 and 0.8889, respectively, demonstrating its advantages in requirement ambiguity detection.

, authors=Juntao Gao1, Fang Liu1, Yilong Yang2, *, authorsList=Juntao Gao, Fang Liu, Yilong Yang, authorCompany=null, correspAuthors=Yilong Yang, authorNote=

born in 1979. PhD, associate professor. Member of CCF. His main research interests include data analysis, process mining, business process management, and software engineering

born in 1999. Master. Her main research interests include static analysis of requirements, and ambiguity detection and resolution

born in 1988. PhD, associate professor. Member of CCF. His main research interests include intelligent requirements engineering, intelligent software engineering, and intelligent system engineering

, correspAuthorsNote=null, copyrightStatement=Copyright © 2026 Journal of Computer Research and Development. All rights reserved., copyrightOwner=null, extLink=null, articleAbsUrl=null, sourceXml=null, magXml=null, pdfUrl=null, pdf=null, pdfFileSize=null, pdfExtLink=null, richHtmlUrl=null, mobilePdfUrl=null, reviewReport=null, pdfFirstPage=null, abstractGraph=null, abstractGraphContent=null, abstractVideo=null, citation=null, cebUrl=null, magXmlContent=null, mapNumber=null, fund=null), CN=ArticleExt(id=1329419393232122074, articleId=1329419390925254852, tenantId=1146029695717560320, journalId=1324759914146529478, language=CN, title=基于大语言模型的需求歧义检测方法, columnId=1329419379378335791, journalTitle=计算机研究与发展, columnName=大模型与软件工程专题, runingTitle=null, highlight=null, articleAbstract=

在现代软件开发中,需求歧义是导致项目失败、成本超支和质量问题的关键因素,因此,人们对需求歧义的自动化检测进行了广泛的研究。虽然这些方法降低了人工审查的时间成本,但歧义检测解决方案类型不全,难以全面覆盖语言歧义对应的6种歧义类型。传统方法缺乏深层次的语义理解、逻辑关系识别以及引用/指代关系识别能力,这限制了其对语义的处理能力,无法对语用歧义以及语言错误歧义进行检测。为此,提出了一种基于大语言模型的方法(称为LMAdetect),用于自动检测需求歧义。对于给定的需求, LMAdetect根据启发式规则和大语言模型进行分析,将该需求检测分类为对应的歧义类型。然而,大语言模型经常会分类出不同的歧义类型,针对大语言模型的分类结果,LMAdetect利用基于规则的算法,将不同歧义类型分配给不同专家进行检测。最后对这些检测结果根据置信度进行汇总并输出置信度高的分类结果。对6种歧义类型共1 192个数据进行了实验,结果表明,相较传统基于规则的方法,LMAdetect的F1分数提升了34.4个百分点,相较仅使用基于大语言模型的方法,F1分数提升了31.6个百分点,对于语用歧义和语言错误歧义的检测,F1分数分别达到了0.6950和0.8889,展示了其在需求歧义检测方面的优势。

, authors=高俊涛1, 刘芳1, 杨溢龙2, *, authorsList=高俊涛, 刘芳, 杨溢龙, authorCompany=null, correspAuthors=杨溢龙, authorNote=

1979年生。博士,副教授。CCF会员。主要研究方向为数据分析、过程挖掘、业务过程管理、软件工程

1999年生。硕士。主要研究方向为需求的静态分析、歧义检测与修复

1988年生。博士,副教授。CCF会员。主要研究方向为智能需求工程、智能软件工程、智能系统工程

, correspAuthorsNote=
杨溢龙()
, copyrightStatement=版权所有 © 2026 计算机研究与发展编辑部, copyrightOwner=null, extLink=null, articleAbsUrl=null, sourceXml=nPwaBqB5Ums7UrwA75s4Og==, magXml=I5HvlPv11yVF46oqhD+sqQ==, pdfUrl=null, pdf=lTEKO7ROBg51C/ZJUUrD8A==, pdfFileSize=1795224, pdfExtLink=null, richHtmlUrl=null, mobilePdfUrl=null, reviewReport=null, pdfFirstPage=null, abstractGraph=pIyFGXMUiRZPiMQ55o0bfA==, abstractGraphContent=null, abstractVideo=null, citation=null, cebUrl=null, magXmlContent=08G0zCmU76eLss5XsqaAow==, mapNumber=null, fund=null)}, authors=[Author(id=1329419393592832226, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, orderNo=0, firstName=null, middleName=null, lastName=null, nameCn=null, orcid=null, stid=null, country=null, authorPic=null, dead=0, email=gjt@nepu.edu.cn, emailSecond=null, emailThird=null, correspondingAuthor=0, authorType=1, ext={EN=AuthorExt(id=1329419393664135396, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, authorId=1329419393592832226, language=EN, stringName=Juntao Gao, firstName=Juntao, middleName=null, lastName=Gao, prefix=null, suffix=null, authorComment=null, nameInitials=null, affiliation=null, department=null, xref=1, address=1School of Computer and Information Technology, Northeast Petroleum University, Daqing, Heilongjiang 163318, bio={"content":"

born in 1979. PhD, associate professor. Member of CCF. His main research interests include data analysis, process mining, business process management, and software engineering

"}, bioImg=null, bioContent=

born in 1979. PhD, associate professor. Member of CCF. His main research interests include data analysis, process mining, business process management, and software engineering

, aboutCorrespAuthor=null), CN=AuthorExt(id=1329419393735438565, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, authorId=1329419393592832226, language=CN, stringName=高俊涛, firstName=null, middleName=null, lastName=null, prefix=null, suffix=null, authorComment=null, nameInitials=null, affiliation=null, department=null, xref=1, address=1东北石油大学计算机与信息技术学院 黑龙江大庆 163318, bio={"img":"7wHUc/7u1ytuiPSj26OsFQ==","content":"

1979年生。博士,副教授。CCF会员。主要研究方向为数据分析、过程挖掘、业务过程管理、软件工程

"}, bioImg=7wHUc/7u1ytuiPSj26OsFQ==, bioContent=

1979年生。博士,副教授。CCF会员。主要研究方向为数据分析、过程挖掘、业务过程管理、软件工程

, aboutCorrespAuthor=null)}, companyList=[AuthorCompany(id=1329419393433448667, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, xref=1, ext=[AuthorCompanyExt(id=1329419393441837276, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, companyId=1329419393433448667, language=EN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=1School of Computer and Information Technology, Northeast Petroleum University, Daqing, Heilongjiang 163318), AuthorCompanyExt(id=1329419393450225885, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, companyId=1329419393433448667, language=CN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=1东北石油大学计算机与信息技术学院 黑龙江大庆 163318)])]), Author(id=1329419393802547431, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, orderNo=1, firstName=null, middleName=null, lastName=null, nameCn=null, orcid=null, stid=null, country=null, authorPic=null, dead=0, email=null, emailSecond=null, emailThird=null, correspondingAuthor=0, authorType=1, ext={EN=AuthorExt(id=1329419393886433513, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, authorId=1329419393802547431, language=EN, stringName=Fang Liu, firstName=Fang, middleName=null, lastName=Liu, prefix=null, suffix=null, authorComment=null, nameInitials=null, affiliation=null, department=null, xref=1, address=1School of Computer and Information Technology, Northeast Petroleum University, Daqing, Heilongjiang 163318, bio={"content":"

born in 1999. Master. Her main research interests include static analysis of requirements, and ambiguity detection and resolution

"}, bioImg=null, bioContent=

born in 1999. Master. Her main research interests include static analysis of requirements, and ambiguity detection and resolution

, aboutCorrespAuthor=null), CN=AuthorExt(id=1329419393940959466, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, authorId=1329419393802547431, language=CN, stringName=刘芳, firstName=null, middleName=null, lastName=null, prefix=null, suffix=null, authorComment=null, nameInitials=null, affiliation=null, department=null, xref=1, address=1东北石油大学计算机与信息技术学院 黑龙江大庆 163318, bio={"img":"ZgtW+MT+sohC3a4qrLj2yQ==","content":"

1999年生。硕士。主要研究方向为需求的静态分析、歧义检测与修复

"}, bioImg=ZgtW+MT+sohC3a4qrLj2yQ==, bioContent=

1999年生。硕士。主要研究方向为需求的静态分析、歧义检测与修复

, aboutCorrespAuthor=null)}, companyList=[AuthorCompany(id=1329419393433448667, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, xref=1, ext=[AuthorCompanyExt(id=1329419393441837276, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, companyId=1329419393433448667, language=EN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=1School of Computer and Information Technology, Northeast Petroleum University, Daqing, Heilongjiang 163318), AuthorCompanyExt(id=1329419393450225885, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, companyId=1329419393433448667, language=CN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=1东北石油大学计算机与信息技术学院 黑龙江大庆 163318)])]), Author(id=1329419394016456940, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, orderNo=2, firstName=null, middleName=null, lastName=null, nameCn=null, orcid=null, stid=null, country=null, authorPic=null, dead=0, email=yilongyang@buaa.edu.cn, emailSecond=null, emailThird=null, correspondingAuthor=1, authorType=1, ext={EN=AuthorExt(id=1329419394100343022, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, authorId=1329419394016456940, language=EN, stringName=Yilong Yang, firstName=Yilong, middleName=null, lastName=Yang, prefix=null, suffix=null, authorComment=null, nameInitials=null, affiliation=null, department=null, xref=2, *, address=2School of Software, Beihang University, Beijing 100080, bio={"content":"

born in 1988. PhD, associate professor. Member of CCF. His main research interests include intelligent requirements engineering, intelligent software engineering, and intelligent system engineering

"}, bioImg=null, bioContent=

born in 1988. PhD, associate professor. Member of CCF. His main research interests include intelligent requirements engineering, intelligent software engineering, and intelligent system engineering

, aboutCorrespAuthor=null), CN=AuthorExt(id=1329419394154868975, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, authorId=1329419394016456940, language=CN, stringName=杨溢龙, firstName=null, middleName=null, lastName=null, prefix=null, suffix=null, authorComment=null, nameInitials=null, affiliation=null, department=null, xref=2, *, address=2北京航空航天大学软件学院 北京 100080, bio={"img":"XCQeUu5ZhYw9yeJLlNcz/w==","content":"

1988年生。博士,副教授。CCF会员。主要研究方向为智能需求工程、智能软件工程、智能系统工程

"}, bioImg=XCQeUu5ZhYw9yeJLlNcz/w==, bioContent=

1988年生。博士,副教授。CCF会员。主要研究方向为智能需求工程、智能软件工程、智能系统工程

, aboutCorrespAuthor=null)}, companyList=[AuthorCompany(id=1329419393513140446, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, xref=2, ext=[AuthorCompanyExt(id=1329419393521529055, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, companyId=1329419393513140446, language=EN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=2School of Software, Beihang University, Beijing 100080), AuthorCompanyExt(id=1329419393529917664, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, companyId=1329419393513140446, language=CN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=2北京航空航天大学软件学院 北京 100080)])])], keywords=[Keyword(id=1329419394255532272, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=EN, orderNo=1, keyword=requirement ambiguity), Keyword(id=1329419394310058225, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=EN, orderNo=2, keyword=detection), Keyword(id=1329419394444275954, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=EN, orderNo=3, keyword=large language model), Keyword(id=1329419394511384819, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=EN, orderNo=4, keyword=classification), Keyword(id=1329419394582687988, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=EN, orderNo=5, keyword=semantic understanding), Keyword(id=1329419394658185461, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=CN, orderNo=1, keyword=需求歧义), Keyword(id=1329419394737877238, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=CN, orderNo=2, keyword=检测), Keyword(id=1329419394813374711, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=CN, orderNo=3, keyword=大语言模型), Keyword(id=1329419394863706360, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=CN, orderNo=4, keyword=分类), Keyword(id=1329419394922426617, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=CN, orderNo=5, keyword=语义理解)], refs=[Reference(id=1329419399158673712, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=1, rfOrder=0, authorNames=null, journalName=null, refType=null, unstructuredReference=Berry D M, Kamsties E, Krieger M M. From Contract Drafting to Software Specification: Linguistic Sources of Ambiguity[M]. Waterloo: University of Waterloo, 2003, articleTitle=null, refAbstract=null), Reference(id=1329419399213199665, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=2, rfOrder=1, authorNames=null, journalName=null, refType=null, unstructuredReference=Kamsties E, Paech B. Taming ambiguity in natural language requirements[C]//Proc of the 13th Int Conf on Software and Systems Engineering and Applications. Paris, France: Center for Mastering Systems & Software (CMSL) of CNAM, 2000: 1−8, articleTitle=null, refAbstract=null), Reference(id=1329419399347417394, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=3, rfOrder=2, authorNames=null, journalName=null, refType=null, unstructuredReference=Doe J. Recommended practice for software requirements specifications (IEEE)[S]. New York: Midori, 2011-12-29, articleTitle=null, refAbstract=null), Reference(id=1329419399418720563, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=4, rfOrder=3, authorNames=null, journalName=null, refType=null, unstructuredReference=Jackson M. Software Requirements & Specifications: A Lexicon of Practice, Principles and Prejudices[M]. New York: ACM Press/Addison-Wesley, 1995, articleTitle=null, refAbstract=null), Reference(id=1329419399490023732, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=5, rfOrder=4, authorNames=null, journalName=null, refType=null, unstructuredReference=Beer A, Junker M, Femmer H, Felderer M. Initial investigations on the influence of requirement smells on test-case design[C]//Proc of 2017 IEEE 25th Int Requirements Engineering Conf Workshops (REW). Piscataway, NJ: IEEE, 2017: 323−326, articleTitle=null, refAbstract=null), Reference(id=1329419399561326901, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=6, rfOrder=5, authorNames=null, journalName=null, refType=null, unstructuredReference=Shang Yanran, Jin Shui. On the ambiguity caused by the language structure in the legal case[C]//Proc of the 2018 3rd Int Conf on Education, E-learning and Management Technology (EEMT’ 2018). Paris, France: Atlantis, 2018: 499−504, articleTitle=null, refAbstract=null), Reference(id=1329419399632630070, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=7, rfOrder=6, authorNames=null, journalName=null, refType=null, unstructuredReference=王春晖, 金芝, 赵海燕, 等. 一种用户故事需求质量提升方法[J]. 计算机研究与发展, 2021, 58(4): 731−748, articleTitle=null, refAbstract=null), Reference(id=1329419399708127544, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=7, rfOrder=7, authorNames=null, journalName=null, refType=null, unstructuredReference=Wang Chunhui, Jin Zhi, Zhao Haiyan, et al. An approach for improving the requirements quality of user stories[J]. Journal of Computer Research and Development, 2021, 58(4): 731−748 (in Chinese), articleTitle=null, refAbstract=null), Reference(id=1329419399762653497, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=8, rfOrder=8, authorNames=null, journalName=null, refType=null, unstructuredReference=Rupp C, Goetz R. Linguistic methods of requirements-engineering (NLP)[C]//Proc of the European Software Process Improvement Conf (EuroSPI). Copenhagen Denmark: Copenhagen Business School, 2000: 7−11, articleTitle=null, refAbstract=null), Reference(id=1329419399833956666, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=9, rfOrder=9, authorNames=null, journalName=null, refType=null, unstructuredReference=Gause D C, Weinberg G M. Exploring Requirements: Quality Before Design[M]. New York: Dorset House, 1989, articleTitle=null, refAbstract=null), Reference(id=1329419399905259835, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=10, rfOrder=10, authorNames=null, journalName=null, refType=null, unstructuredReference=Heitmeyer C L, Jeffords R D, Labaw B G. Automated consistency checking of requirements specifications[J]. ACM Transactions on Software Engineering and Methodology, 1996, 5(3): 231−261, articleTitle=null, refAbstract=null), Reference(id=1329419399968174396, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=11, rfOrder=11, authorNames=null, journalName=null, refType=null, unstructuredReference=Boehm B W. Software engineering - as it is[C]//Proc of the Int Conf on Software Engineering. Piscataway, NJ: IEEE, 1979: 11−21, articleTitle=null, refAbstract=null), Reference(id=1329419400077226301, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=12, rfOrder=12, authorNames=null, journalName=null, refType=null, unstructuredReference=Robertson S, Robertson J. Mastering the Requirements Process: Getting Requirements Right[M]. Boston: Addison-Wesley, 2012, articleTitle=null, refAbstract=null), Reference(id=1329419400152723774, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=13, rfOrder=13, authorNames=null, journalName=null, refType=null, unstructuredReference=Berry D M, Kamsties E. Ambiguity in Requirements Specification[M]//Perspectives on Software Requirements. Boston, MA: Springer US, 2004: 7−44, articleTitle=null, refAbstract=null), Reference(id=1329419400224026943, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=14, rfOrder=14, authorNames=null, journalName=null, refType=null, unstructuredReference=Xu H R, Kim Y J, Sharaf A, et al. A paradigm shift in machine translation: Boosting translation performance of large language models[C]//Proc of the 12th Int Conf on Learning Representations. OpenReview. net, 2024: 1−21, articleTitle=null, refAbstract=null), Reference(id=1329419400278552896, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=15, rfOrder=15, authorNames=null, journalName=null, refType=null, unstructuredReference=Yao B W, Jiang M, Bobinac T, et al. Benchmarking machine translation with cultural awareness[C]//Proc of the Findings of the Association for Computational Linguistics: EMNLP 2024. Miami: ACL, 2024: 13078−13096, articleTitle=null, refAbstract=null), Reference(id=1329419400345661761, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=16, rfOrder=16, authorNames=null, journalName=null, refType=null, unstructuredReference=Shi Y C, Ma H H, Zhong W L, et al. ChatGraph: Interpretable text classification by converting ChatGPT knowledge to graphs[C]//Proc of the 2023 IEEE Int Conf on Data Mining Workshops. Piscataway, NJ: IEEE, 2023: 515−520, articleTitle=null, refAbstract=null), Reference(id=1329419400404382018, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=17, rfOrder=17, authorNames=null, journalName=null, refType=null, unstructuredReference=Kurisinkel L J, Chen N F. LLM based multi-document summarization exploiting main-event biased monotone submodular content extraction[J]. arXiv preprint arXiv: 2310.03414, 2023, articleTitle=null, refAbstract=null), Reference(id=1329419400467296579, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=18, rfOrder=18, authorNames=null, journalName=null, refType=null, unstructuredReference=徐子懋, 姜艳杰, 张宇霞, 等. 基于大语言模型的长方法分解[J]. 软件学报, 2025, 36(6): 2501−2514, articleTitle=null, refAbstract=null), Reference(id=1329419400526016836, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=18, rfOrder=19, authorNames=null, journalName=null, refType=null, unstructuredReference=Xu Zimao, Jiang Yanjie, Zhang Yuxia, et al. Large-language-model-based decomposition of long methods[J]. Journal of Software, 2025, 36(6): 2501−2514 (in Chinese), articleTitle=null, refAbstract=null), Reference(id=1329419400597320005, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=19, rfOrder=20, authorNames=null, journalName=null, refType=null, unstructuredReference=Vinay S, Aithal S, Desai P. An approach towards automation of requirements analysis[C]//Proc of the Int MultiConf of Engineers and Computer Scientists 2009. Hong Kong: IMECS, 2009: 1080−1085, articleTitle=null, refAbstract=null), Reference(id=1329419400656040262, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=20, rfOrder=21, authorNames=null, journalName=null, refType=null, unstructuredReference=Kamsties E, Berry D M, Paech B, et al. Detecting ambiguities in requirements documents using inspections[C]//Proc of the 1st Workshop on Inspection in Software Engineering (WISE’01). Hamilton, Canada: Software Quality Research Lab, McMaster University, 2001: 68−80, articleTitle=null, refAbstract=null), Reference(id=1329419400731537735, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=21, rfOrder=22, authorNames=null, journalName=null, refType=null, unstructuredReference=Fabbrini F, Fusani M, Gnesi S, et al. An automatic quality evaluation for natural language requirements[C]//Proc of the 7th Int Workshop on Requirements Engineering: Foundation for Software Quality REFSQ. Interlaken, Switzerland: REFSQ Workshop, 2001: 4−5, articleTitle=null, refAbstract=null), Reference(id=1329419400802840904, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=22, rfOrder=23, authorNames=null, journalName=null, refType=null, unstructuredReference=Nigam A, Arya N, Nigam B, et al. Tool for automatic discovery of ambiguity in requirements[J]. International Journal of Computer Science Issues, 2012, 9(5): 350−356, articleTitle=null, refAbstract=null), Reference(id=1329419400865755465, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=23, rfOrder=24, authorNames=null, journalName=null, refType=null, unstructuredReference=Tjong S F. Avoiding Ambiguity in Requirements Specifications[D]. Semenyih, Selangor Darul Ehsan, Malaysia: University of Nottingham, 2008, articleTitle=null, refAbstract=null), Reference(id=1329419400932864330, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=24, rfOrder=25, authorNames=null, journalName=null, refType=null, unstructuredReference=Rosadini B, Ferrari A, Gori G, et al. Using NLP to detect requirements defects: An industrial experience in the railway domain[C]//Proc of the Int Workshop on Requirements Engineering: Foundation for Software Quality (REFSQ). Cham: Springer, 2017: 344−360, articleTitle=null, refAbstract=null), Reference(id=1329419400991584587, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=25, rfOrder=26, authorNames=null, journalName=null, refType=null, unstructuredReference=Gleich B, Creighton O, Kof L. Ambiguity detection: Towards a tool explaining ambiguity sources[C]//Proc of the 18th IEEE Int Requirements Engineering Conf (RE’10). Berlin: Springer, 2010: 218−232, articleTitle=null, refAbstract=null), Reference(id=1329419401075470668, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=26, rfOrder=27, authorNames=null, journalName=null, refType=null, unstructuredReference=Sabriye A O J, Wan Z W M N. An approach for detecting syntax and syntactic ambiguity in software requirement specification[J]. Journal of Theoretical and Applied Information Technology, 2018, 96(8): 2275−2284, articleTitle=null, refAbstract=null), Reference(id=1329419401184522573, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=27, rfOrder=28, authorNames=null, journalName=null, refType=null, unstructuredReference=Ferrari A, Esuli A. An NLP approach for cross-domain ambiguity detection in requirements engineering[J]. Automated Software Engineering, 2019, 26(3): 559−598, articleTitle=null, refAbstract=null), Reference(id=1329419401301963086, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=28, rfOrder=29, authorNames=null, journalName=null, refType=null, unstructuredReference=Gentile A L, Coden A R, Lourentzou I, et al. Identifying ambiguity in semantic resources: U. S. Patent 11, 379, 669[P]. 2022-7-5, articleTitle=null, refAbstract=null), Reference(id=1329419401411014991, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=29, rfOrder=30, authorNames=null, journalName=null, refType=null, unstructuredReference=Šenkýř D, Kroha P. Patterns of ambiguity in textual requirements specification[C]//Proc of the World Conf on Information Systems and Technologies (WorldCIST’19). Cham: Springer, 2019: 886−895, articleTitle=null, refAbstract=null), Reference(id=1329419401490706768, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=30, rfOrder=31, authorNames=null, journalName=null, refType=null, unstructuredReference=Liu Y, Medlar A, Głowacka D. Lexical ambiguity detection in professional discourse[J]. Information Processing & Management, 2022, 59(5): 103000, articleTitle=null, refAbstract=null), Reference(id=1329419401574592849, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=31, rfOrder=32, authorNames=null, journalName=null, refType=null, unstructuredReference=Veizaga A, Shin S Y, Briand L C. Automated smell detection and recommendation in natural language requirements[J]. IEEE Transactions on Software Engineering, 2024, 50(4): 695−720, articleTitle=null, refAbstract=null), Reference(id=1329419401654284626, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=32, rfOrder=33, authorNames=null, journalName=null, refType=null, unstructuredReference=Levy R, Andrew G. Tregex and tsurgeon: Tools for querying and manipulating tree data structures[C]//Proc of the 5th Int Conf on Language Resources and Evaluation. Genoa, Italy: European Language Resources Association, 2006: 2231−2234, articleTitle=null, refAbstract=null), Reference(id=1329419401721393491, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=33, rfOrder=34, authorNames=null, journalName=null, refType=null, unstructuredReference=Bang Y, Cahyawijaya S, Lee N, et al. A multitask, multilingual, multimodal evaluation of ChatGPT on reasoning, hallucination, and interactivity[J]. arXiv preprint arXiv: 2302.04023, 2023, articleTitle=null, refAbstract=null), Reference(id=1329419401784308052, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=34, rfOrder=35, authorNames=null, journalName=null, refType=null, unstructuredReference=Liang P, Bommasani R, Lee T, et al. Holistic evaluation of language models[J]. arXiv preprint arXiv: 2211.09110, 2022, articleTitle=null, refAbstract=null), Reference(id=1329419401847222613, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=35, rfOrder=36, authorNames=null, journalName=null, refType=null, unstructuredReference=陈炫婷, 叶俊杰, 祖璨, 等. GPT系列大语言模型在自然语言处理任务中的鲁棒性[J]. 计算机研究与发展, 2024, 61(5): 1128−1142, articleTitle=null, refAbstract=null), Reference(id=1329419401914331478, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=35, rfOrder=37, authorNames=null, journalName=null, refType=null, unstructuredReference=Chen Xuanting, Ye Junjie, Zu Can, et al. Robustness of GPT large language models on natural language processing tasks[J]. Journal of Computer Research and Development, 2024, 61(5): 1128−1142 (in Chinese), articleTitle=null, refAbstract=null), Reference(id=1329419401981440343, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=36, rfOrder=38, authorNames=null, journalName=null, refType=null, unstructuredReference=Liu Chao, Bao Xuanlin, Zhang Hongyu, et al. Improving ChatGPT prompt for code generation[J]. arXiv preprint arXiv: 2305.08360, 2023, articleTitle=null, refAbstract=null), Reference(id=1329419402040160600, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=37, rfOrder=39, authorNames=null, journalName=null, refType=null, unstructuredReference=Toy J, Tabor P, MacAdam J. Metacognition is all you need? Using introspection in generative agents to improve goal-directed behavior[J]. arXiv preprint arXiv: 2401.10910, 2024, articleTitle=null, refAbstract=null), Reference(id=1329419402094686553, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=38, rfOrder=40, authorNames=null, journalName=null, refType=null, unstructuredReference=Jiang Xun, Li Feng, Zhao Han, et al. Long term memory: The foundation of AI self-evolution[J]. arXiv preprint arXiv: 2410.15665, 2024, articleTitle=null, refAbstract=null), Reference(id=1329419402174378330, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=39, rfOrder=41, authorNames=null, journalName=null, refType=null, unstructuredReference=Qian Chen, Liu Wei, Liu Hongzhang, et al. Chatdev: Communicative agents for software development[C]//Proc of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Bangkok: ACL, 2024: 15174−15186, articleTitle=null, refAbstract=null), Reference(id=1329419402237292891, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=40, rfOrder=42, authorNames=null, journalName=null, refType=null, unstructuredReference=Wang Boxin, Chen Weixin, Pei Hengzhi, et al. Decodingtrust: A comprehensive assessment of trustworthiness in GPT models[C]//Proc of the 37th Annual Conf on Neural Information Processing Systems. New Orleans, LA, USA, Neural Information Processing Systems Foundation, 2023:1−95, articleTitle=null, refAbstract=null), Reference(id=1329419402291818844, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=41, rfOrder=43, authorNames=null, journalName=null, refType=null, unstructuredReference=Zhang Yue, Li Yafu, Cui Leyang, et al. Siren’s song in the AI ocean: A survey on hallucination in large language models[J]. Computational Linguistics, 5114: 1−46, articleTitle=null, refAbstract=null), Reference(id=1329419402354733405, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=42, rfOrder=44, authorNames=null, journalName=null, refType=null, unstructuredReference=Chang Yupeng, Wang Xu, Wang Jindong, et al. A survey on evaluation of large language models[J]. ACM Transactions on Intelligent Systems and Technology, 2024, 15(3): 1−45, articleTitle=null, refAbstract=null), Reference(id=1329419402426036574, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=43, rfOrder=45, authorNames=null, journalName=null, refType=null, unstructuredReference=Guo Biyang, Zhang Xin, Wang Ziyuan, et al. How close is ChatGPT to human experts? Comparison corpus, evaluation, and detection[J]. arXiv preprint arXiv: 2301.07597, 2023, articleTitle=null, refAbstract=null), Reference(id=1329419402480562527, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=44, rfOrder=46, authorNames=null, journalName=null, refType=null, unstructuredReference=Abualhaija S, Fucci D, Dalpiaz F, et al. Preface: 3rd workshop on natural language processing for requirements engineering (NLP4RE’20)[C]//Joint Proc of REFSQ−2020 Workshops, Doctoral Symp, Live Studies Track, and Poster Track. Pisa, Italy: CEUR-WS. org, 2020: 1−3, articleTitle=null, refAbstract=null), Reference(id=1329419402535088480, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=45, rfOrder=47, authorNames=null, journalName=null, refType=null, unstructuredReference=Fantechi A, Gnesi S, Semini L. Rule-based NLP vs ChatGPT in ambiguity detection, a preliminary study[C/OL]//Proc of REFSQ Workshops. 2023: 1−10[2026-02-15]. https://ceur-ws.org/Vol3378/NLP4RE-paper1.pdf, articleTitle=null, refAbstract=null), Reference(id=1329419402606391649, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=46, rfOrder=48, authorNames=null, journalName=null, refType=null, unstructuredReference=Fazelnia M, Koscinski V, Herzog S, et al. Lessons from the use of natural language inference (NLI) in requirements engineering tasks[C]//Proc of 2024 IEEE 32nd Int Requirements Engineering Conf (RE). Picataway, NJ: IEEE, 2024: 103−115, articleTitle=null, refAbstract=null), Reference(id=1329419402677694818, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=47, rfOrder=49, authorNames=null, journalName=null, refType=null, unstructuredReference=Saleem S, Asim M N, Dengel A. PassionNet: An innovative framework for duplicate and conflicting requirements identification[J]. Expert Systems with Applications, 293: 128684, articleTitle=null, refAbstract=null), Reference(id=1329419402736415075, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=48, rfOrder=50, authorNames=null, journalName=null, refType=null, unstructuredReference=Wasow T, Perfors A, Beaver D. The puzzle of ambiguity[J]. Morphology and the web of grammar: Essays in memory of Steven G. Lapointe. Stanford, CA: CSLI Publications, 2005: 265−282. https://web.stanford.edu/~wasow/Lapointe.pdf, articleTitle=null, refAbstract=null), Reference(id=1329419402803523941, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, doi=null, pmid=null, pmcid=null, year=null, volume=null, issue=null, pageStart=null, pageEnd=null, url=null, language=null, rfNumber=49, rfOrder=51, authorNames=null, journalName=null, refType=null, unstructuredReference=Pomian D, Bellur A, Dilhara M, et al. Together we go further: LLMs and IDE static analysis for extract method refactoring[J]. arXiv preprint arXiv: 2401.15298, 2024, articleTitle=null, refAbstract=null)], funds=null, companyList=[AuthorCompany(id=1329419393433448667, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, xref=1, ext=[AuthorCompanyExt(id=1329419393441837276, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, companyId=1329419393433448667, language=EN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=1School of Computer and Information Technology, Northeast Petroleum University, Daqing, Heilongjiang 163318), AuthorCompanyExt(id=1329419393450225885, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, companyId=1329419393433448667, language=CN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=1东北石油大学计算机与信息技术学院 黑龙江大庆 163318)]), AuthorCompany(id=1329419393513140446, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, xref=2, ext=[AuthorCompanyExt(id=1329419393521529055, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, companyId=1329419393513140446, language=EN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=2School of Software, Beihang University, Beijing 100080), AuthorCompanyExt(id=1329419393529917664, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, companyId=1329419393513140446, language=CN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=2北京航空航天大学软件学院 北京 100080)])], figs=[ArticleFig(id=1329419395023089914, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=EN, label=Figure 1, caption=Detection process diagram of requirements ambiguity, figureFileSmall=EbEJJwcnOFIXjsMPgDF5pA==, figureFileBig=pIyFGXMUiRZPiMQ55o0bfA==, tableContent=null), ArticleFig(id=1329419395086004475, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=CN, label=图1, caption=需求歧义检测过程图, figureFileSmall=EbEJJwcnOFIXjsMPgDF5pA==, figureFileBig=pIyFGXMUiRZPiMQ55o0bfA==, tableContent=null), ArticleFig(id=1329419395253776636, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=EN, label=Figure 2, caption=Multi-agent application collaboration technology framework diagram, figureFileSmall=A9r9kkOLR15cddhl6li92w==, figureFileBig=E18wN0SCTuVertFY2T0Z+w==, tableContent=null), ArticleFig(id=1329419395312496893, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=CN, label=图2, caption=多智能体应用协作技术框架图, figureFileSmall=A9r9kkOLR15cddhl6li92w==, figureFileBig=E18wN0SCTuVertFY2T0Z+w==, tableContent=null), ArticleFig(id=1329419395387994366, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=EN, label=Figure 3, caption=Method framework diagram of the combination of large language models and rules, figureFileSmall=RksQ9E+1yPh2RcdgM6eQOQ==, figureFileBig=W7uG3vFjvbkuZuCcqk1vgA==, tableContent=null), ArticleFig(id=1329419395509629183, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=CN, label=图3, caption=大语言模型与规则结合的方法框架图, figureFileSmall=RksQ9E+1yPh2RcdgM6eQOQ==, figureFileBig=W7uG3vFjvbkuZuCcqk1vgA==, tableContent=null), ArticleFig(id=1329419395585126656, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=EN, label=Figure 4, caption=Mixed expert framework diagram guided by ambiguity detection, figureFileSmall=SWNubvz1tv8l0owCYbHEwA==, figureFileBig=kjnjOJqC9mRQ+ilKm0SdBw==, tableContent=null), ArticleFig(id=1329419395648041217, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=CN, label=图4, caption=歧义检测引导的混合专家框架图, figureFileSmall=SWNubvz1tv8l0owCYbHEwA==, figureFileBig=kjnjOJqC9mRQ+ilKm0SdBw==, tableContent=null), ArticleFig(id=1329419395715150082, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=EN, label=Figure 5, caption=Type specialized multi-agent collaboration framework diagram, figureFileSmall=KK5ilQ4yWDCAoXr7qhLvdg==, figureFileBig=Erg9QeJhpch6Cu/WViMgQw==, tableContent=null), ArticleFig(id=1329419395782258947, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=CN, label=图5, caption=类型专业化多智能体协作框架图, figureFileSmall=KK5ilQ4yWDCAoXr7qhLvdg==, figureFileBig=Erg9QeJhpch6Cu/WViMgQw==, tableContent=null), ArticleFig(id=1329419395845173508, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=EN, label=Figure 6, caption=D-S evidence theory fusion framework diagram, figureFileSmall=u9WKE/QF5MHy2FgR7zPniw==, figureFileBig=VQ3DeN148K2cgzq2rRKgJw==, tableContent=null), ArticleFig(id=1329419395991974149, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=CN, label=图6, caption=D-S证据理论融合框架图, figureFileSmall=u9WKE/QF5MHy2FgR7zPniw==, figureFileBig=VQ3DeN148K2cgzq2rRKgJw==, tableContent=null), ArticleFig(id=1329419396050694406, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=EN, label=Figure 7, caption=Data correlation analysis chart, figureFileSmall=5RfAC0ISxY3Gtzzaz2caKA==, figureFileBig=pxN3fIbesOAqmNcygewzYg==, tableContent=null), ArticleFig(id=1329419396113608967, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=CN, label=图7, caption=数据关联性分析图, figureFileSmall=5RfAC0ISxY3Gtzzaz2caKA==, figureFileBig=pxN3fIbesOAqmNcygewzYg==, tableContent=null), ArticleFig(id=1329419396176523528, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=EN, label=Table 1, caption=

Detection Scope of Ambiguity Type

, figureFileSmall=null, figureFileBig=null, tableContent=
工具/方法词汇歧义句法歧义语义/范
围歧义
语法歧义语用歧义语言错
误歧义
正则表达式√√√×××
POS标记×√×√××
Paska工具×√××××
), ArticleFig(id=1329419396268798217, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=CN, label=表1, caption=

歧义类型检测范围

, figureFileSmall=null, figureFileBig=null, tableContent=
工具/方法词汇歧义句法歧义语义/范
围歧义
语法歧义语用歧义语言错
误歧义
正则表达式√√√×××
POS标记×√×√××
Paska工具×√××××
), ArticleFig(id=1329419396335907082, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=EN, label=Table 2, caption=

Ambiguity Type and Detection Rules

, figureFileSmall=null, figureFileBig=null, tableContent=
歧义类型定义检测条件示例
词汇歧义由于存在多种可能的解释,主观术语含义不明确① 句子长度小于等于30词
② 术语未在词汇表或上下文中定义
③ 单个主谓结构,无明确修饰语
④ Word存在于多义词词典(如WordNet)中,具有多种含义
“The system shall respond quickly.”
(“quickly”不明确)
句法歧义多种可能的句法结构导致不同的解释① 分析出的句法树数量超过1
② 名词短语修饰语的数量超过1
③ 修饰语之间缺乏明确的优先级或关系一致性
“The old men and women ate lunch.”
(分组不明确)
语义/范围歧义句子中的术语范围不明确或含义不一致① 术语范围存在多种可能的解释
② 并列结构中分组不一致且可能的解释数量大于1
③ 缺乏明确意图或上下文解析
“All files in the system are secure.”
(“all”的范围不明确)
语用歧义由上下文或预期用途引起的模糊性,影响利益相关者的理解① 可能的解释数量超过1
② 与上下文无明确匹配意图
③ 句子长度小于等于50词,以避免过于复杂
“The system will notify users.”
(通知方式不明确)
语法歧义语法结构不正确或不清楚,导致误解① 生成的语法树存在超过一种可能的结构
② Word词性标签显示潜在的语法错误(例如动词时态不匹配)
③ 句子长度不超过40词
“The data process daily.”
(“process”中的语法错误)
语言错误歧义语言使用错误导致沟通不畅① Word未在词典中找到或词性不匹配
② 连续词语之间缺乏明确的连接成分
③ 句子长度小于等于30词
“The sistem is fast.”
(“system”拼写错误)
), ArticleFig(id=1329419396407210251, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=CN, label=表2, caption=

歧义类型和检测规则

, figureFileSmall=null, figureFileBig=null, tableContent=
歧义类型定义检测条件示例
词汇歧义由于存在多种可能的解释,主观术语含义不明确① 句子长度小于等于30词
② 术语未在词汇表或上下文中定义
③ 单个主谓结构,无明确修饰语
④ Word存在于多义词词典(如WordNet)中,具有多种含义
“The system shall respond quickly.”
(“quickly”不明确)
句法歧义多种可能的句法结构导致不同的解释① 分析出的句法树数量超过1
② 名词短语修饰语的数量超过1
③ 修饰语之间缺乏明确的优先级或关系一致性
“The old men and women ate lunch.”
(分组不明确)
语义/范围歧义句子中的术语范围不明确或含义不一致① 术语范围存在多种可能的解释
② 并列结构中分组不一致且可能的解释数量大于1
③ 缺乏明确意图或上下文解析
“All files in the system are secure.”
(“all”的范围不明确)
语用歧义由上下文或预期用途引起的模糊性,影响利益相关者的理解① 可能的解释数量超过1
② 与上下文无明确匹配意图
③ 句子长度小于等于50词,以避免过于复杂
“The system will notify users.”
(通知方式不明确)
语法歧义语法结构不正确或不清楚,导致误解① 生成的语法树存在超过一种可能的结构
② Word词性标签显示潜在的语法错误(例如动词时态不匹配)
③ 句子长度不超过40词
“The data process daily.”
(“process”中的语法错误)
语言错误歧义语言使用错误导致沟通不畅① Word未在词典中找到或词性不匹配
② 连续词语之间缺乏明确的连接成分
③ 句子长度小于等于30词
“The sistem is fast.”
(“system”拼写错误)
), ArticleFig(id=1329419396470124812, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=EN, label=Table 3, caption=

Prompt Words

, figureFileSmall=null, figureFileBig=null, tableContent=
相关要素提示词
〈Agent Role and Method〉You are RSDetector, an agent responsible for detecting and classifying ambiguities in requirements statements using〈language understanding or specific method〉
〈Ambiguity Types List〉Analyze the input sentence based on the following ambiguity types, their definitions, and examples:
① 〈Ambiguity Type 1〉: 〈Definition of Ambiguity Type 1〉
- Example: 〈Example Sentence for Type 1〉 (〈Explanation of Ambiguity〉)
② 〈Ambiguity Type 2〉: 〈Definition of Ambiguity Type 2〉
- Example: 〈Example Sentence for Type 2〉 (〈Explanation of Ambiguity〉)
[… for each ambiguity type]
〈Detection Process〉① 〈Step 1: Analyze Sentence〉
② 〈Step 2: Type-Specific Detection〉
③ 〈Step 3: Prioritize or Distinguish Types〉
④ 〈Step 4: Classify Ambiguity〉
⑤ If no ambiguity is detected, output ‘No Ambiguity’
〈Output Format〉- If no ambiguity: ‘No Ambiguity’
- If ambiguous: ‘Ambiguity Detected: [Type]’ where [Type] is one of the defined types (e. g., ‘〈Ambiguity Type 1〉’)
〈Example Outputs〉- Input: ‘〈Example Input 1〉’ → ‘〈Example Output 1〉’
- Input: ‘〈Example Input 2〉’ → ‘〈Example Output 2〉’
[… for each example]
You are RSDetector, an agent responsible for detecting and classifying ambiguities in requirements statements using〈language understanding or specific method〉+ Analyze the input sentence based on the following ambiguity types, their definitions, and examples:
① 〈Ambiguity Type 1〉: 〈Definition of Ambiguity Type 1〉
- Example: 〈Example Sentence for Type 1〉 (〈Explanation of Ambiguity〉)
② 〈Ambiguity Type 2〉: 〈Definition of Ambiguity Type 2〉
- Example: 〈Example Sentence for Type 2〉 (〈Explanation of Ambiguity〉)
[… for each ambiguity type] + Process:
① 〈Step 1: Analyze Sentence〉
② 〈Step 2: Type-Specific Detection〉
③ 〈Step 3: Prioritize or Distinguish Types〉
④ 〈Step 4: Classify Ambiguity〉
⑤ If no ambiguity is detected, output ‘No Ambiguity’+ Output Format:
- If no ambiguity: ‘No Ambiguity’
- If ambiguous: ‘Ambiguity Detected: [Type]’ where [Type] is one of the defined types (e. g., ‘〈Ambiguity Type 1〉’). + Example Outputs:
- Input: ‘〈Example Input 1〉’ → ‘〈Example Output 1〉’
- Input: ‘〈Example Input 2〉’ → ‘〈Example Output 2〉’
[… for each example]
), ArticleFig(id=1329419396537233677, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=CN, label=表3, caption=

提示词

, figureFileSmall=null, figureFileBig=null, tableContent=
相关要素提示词
〈Agent Role and Method〉You are RSDetector, an agent responsible for detecting and classifying ambiguities in requirements statements using〈language understanding or specific method〉
〈Ambiguity Types List〉Analyze the input sentence based on the following ambiguity types, their definitions, and examples:
① 〈Ambiguity Type 1〉: 〈Definition of Ambiguity Type 1〉
- Example: 〈Example Sentence for Type 1〉 (〈Explanation of Ambiguity〉)
② 〈Ambiguity Type 2〉: 〈Definition of Ambiguity Type 2〉
- Example: 〈Example Sentence for Type 2〉 (〈Explanation of Ambiguity〉)
[… for each ambiguity type]
〈Detection Process〉① 〈Step 1: Analyze Sentence〉
② 〈Step 2: Type-Specific Detection〉
③ 〈Step 3: Prioritize or Distinguish Types〉
④ 〈Step 4: Classify Ambiguity〉
⑤ If no ambiguity is detected, output ‘No Ambiguity’
〈Output Format〉- If no ambiguity: ‘No Ambiguity’
- If ambiguous: ‘Ambiguity Detected: [Type]’ where [Type] is one of the defined types (e. g., ‘〈Ambiguity Type 1〉’)
〈Example Outputs〉- Input: ‘〈Example Input 1〉’ → ‘〈Example Output 1〉’
- Input: ‘〈Example Input 2〉’ → ‘〈Example Output 2〉’
[… for each example]
You are RSDetector, an agent responsible for detecting and classifying ambiguities in requirements statements using〈language understanding or specific method〉+ Analyze the input sentence based on the following ambiguity types, their definitions, and examples:
① 〈Ambiguity Type 1〉: 〈Definition of Ambiguity Type 1〉
- Example: 〈Example Sentence for Type 1〉 (〈Explanation of Ambiguity〉)
② 〈Ambiguity Type 2〉: 〈Definition of Ambiguity Type 2〉
- Example: 〈Example Sentence for Type 2〉 (〈Explanation of Ambiguity〉)
[… for each ambiguity type] + Process:
① 〈Step 1: Analyze Sentence〉
② 〈Step 2: Type-Specific Detection〉
③ 〈Step 3: Prioritize or Distinguish Types〉
④ 〈Step 4: Classify Ambiguity〉
⑤ If no ambiguity is detected, output ‘No Ambiguity’+ Output Format:
- If no ambiguity: ‘No Ambiguity’
- If ambiguous: ‘Ambiguity Detected: [Type]’ where [Type] is one of the defined types (e. g., ‘〈Ambiguity Type 1〉’). + Example Outputs:
- Input: ‘〈Example Input 1〉’ → ‘〈Example Output 1〉’
- Input: ‘〈Example Input 2〉’ → ‘〈Example Output 2〉’
[… for each example]
), ArticleFig(id=1329419396604342542, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=EN, label=Table 4, caption=

Labeling Criteria

, figureFileSmall=null, figureFileBig=null, tableContent=
歧义类型标注准则示例
词汇歧义① 识别潜在歧义词(如多义词或同形词),使用词典检查多个含义
② 检查上下文是否允许多种解释
③ 标注时注明可能的含义,引用词汇表作为参考
“The bank can be slippery when wet.”
① 识别潜在歧义词“bank”,查词典:含义1(金融机构)、含义2(河岸)
② 检查上下文(湿滑时),支持含义2,但SRS中可能误为含义1
③ 标注为词汇歧义,列出含义,建议用词汇表定义“bank”为“河岸”
句法歧义① 绘制或想象句子的解析树, 检查是否有多个合法结构
② 测试不同结构是否产生不同含义
③ 标注时,指定子类型并列出可能结构
“The police shot the rioters with guns.”
① 绘制解析树,结构1(警察用枪射击暴徒)、结构2(射击持枪暴徒)
② 测试含义差异,暴力程度不同
③ 标注为句法歧义,列出结构,(shot(with guns))(rioters(with guns))
语义/范
围歧义
① 转换为谓词逻辑,检查量词/否定范围是否允许多种形式
② 测试上下文是否支持多种逻辑解读
③ 标注时,列出逻辑形式和原因
“All linguists prefer a theory.”
① 转换为逻辑
② 测试含义,每个喜欢不同理论、所有喜欢同一理论
③ 标注为语义/范围歧义,加括号“All linguists prefer(a theory)”指定范围
语用歧义① 分析上下文(前后句、情境),检查指代/指示是否多义
② 测试替换先行词是否改变含义
③ 标注时,指定子类型并列出可能上下文解读
“The trucks shall treat the roads before they freeze.”
① 识别指代词“they”,可能先行词:trucks或roads
② 测试上下文:冬季道路维护,含义1(卡车冻前处理)、含义2(道路冻前处理)
③ 标注为语用歧义,列出先行词
语法歧义① 句子末尾无句号或句点,导致句子边界模糊,无法确定语义完整范围
② 句子符合被动语态的POS标签组合且未明确“执行主体”(即未提及“谁执行该动作”),导致责任或操作方不明确
“Student records should be documented.”
① 词性标注
② 匹配被动模式
③ 标注为语法歧义
语言错
误歧义
① 检查语法或标点错误
② 测试意图和字面含义
③ 标注时,注明错误类型和可能误解
“Everybody has their lunch.”
① 检查错误,“Everybody”是单数主语,应配单数代词,但“their”是复数
② 测试意图vs.字面:意图(每个人有自己的午餐)vs.字面(可能误为共享午餐或不确定数量)
③ 标注为语言错误歧义,列出误解
), ArticleFig(id=1329419396679840015, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=CN, label=表4, caption=

标注准则

, figureFileSmall=null, figureFileBig=null, tableContent=
歧义类型标注准则示例
词汇歧义① 识别潜在歧义词(如多义词或同形词),使用词典检查多个含义
② 检查上下文是否允许多种解释
③ 标注时注明可能的含义,引用词汇表作为参考
“The bank can be slippery when wet.”
① 识别潜在歧义词“bank”,查词典:含义1(金融机构)、含义2(河岸)
② 检查上下文(湿滑时),支持含义2,但SRS中可能误为含义1
③ 标注为词汇歧义,列出含义,建议用词汇表定义“bank”为“河岸”
句法歧义① 绘制或想象句子的解析树, 检查是否有多个合法结构
② 测试不同结构是否产生不同含义
③ 标注时,指定子类型并列出可能结构
“The police shot the rioters with guns.”
① 绘制解析树,结构1(警察用枪射击暴徒)、结构2(射击持枪暴徒)
② 测试含义差异,暴力程度不同
③ 标注为句法歧义,列出结构,(shot(with guns))(rioters(with guns))
语义/范
围歧义
① 转换为谓词逻辑,检查量词/否定范围是否允许多种形式
② 测试上下文是否支持多种逻辑解读
③ 标注时,列出逻辑形式和原因
“All linguists prefer a theory.”
① 转换为逻辑
② 测试含义,每个喜欢不同理论、所有喜欢同一理论
③ 标注为语义/范围歧义,加括号“All linguists prefer(a theory)”指定范围
语用歧义① 分析上下文(前后句、情境),检查指代/指示是否多义
② 测试替换先行词是否改变含义
③ 标注时,指定子类型并列出可能上下文解读
“The trucks shall treat the roads before they freeze.”
① 识别指代词“they”,可能先行词:trucks或roads
② 测试上下文:冬季道路维护,含义1(卡车冻前处理)、含义2(道路冻前处理)
③ 标注为语用歧义,列出先行词
语法歧义① 句子末尾无句号或句点,导致句子边界模糊,无法确定语义完整范围
② 句子符合被动语态的POS标签组合且未明确“执行主体”(即未提及“谁执行该动作”),导致责任或操作方不明确
“Student records should be documented.”
① 词性标注
② 匹配被动模式
③ 标注为语法歧义
语言错
误歧义
① 检查语法或标点错误
② 测试意图和字面含义
③ 标注时,注明错误类型和可能误解
“Everybody has their lunch.”
① 检查错误,“Everybody”是单数主语,应配单数代词,但“their”是复数
② 测试意图vs.字面:意图(每个人有自己的午餐)vs.字面(可能误为共享午餐或不确定数量)
③ 标注为语言错误歧义,列出误解
), ArticleFig(id=1329419396767920400, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=EN, label=Table 5, caption=

Experimental Datasets

, figureFileSmall=null, figureFileBig=null, tableContent=
样本歧义类型样本数量
正例样本Lexical Ambiguity135
Syntactic Ambiguity127
Semantic/Scope Ambiguity353
Pragmatic Ambiguity92
Syntax Ambiguity80
Language Error Ambiguity85
负例样本320
), ArticleFig(id=1329419396830834961, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=CN, label=表5, caption=

实验数据集

, figureFileSmall=null, figureFileBig=null, tableContent=
样本歧义类型样本数量
正例样本Lexical Ambiguity135
Syntactic Ambiguity127
Semantic/Scope Ambiguity353
Pragmatic Ambiguity92
Syntax Ambiguity80
Language Error Ambiguity85
负例样本320
), ArticleFig(id=1329419396902138130, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=EN, label=Table 6, caption=

Comparison of Stability and Accuracy of Different Temperature Parameters

, figureFileSmall=null, figureFileBig=null, tableContent=
歧义类型实验进程temperature为0.5temperature为0
准确率召回率精确率F1分数准确率召回率精确率F1分数
词汇歧义第1次0.84440.87020.96610.91570.85930.87880.97480.9243
第2次0.87410.89390.97520.93280.87410.89390.97520.9328
第3次0.86670.87970.98320.92860.83700.85610.97410.9113
均值0.86170.88130.97480.92570.85680.87630.97470.9228
标准差0.01340.01180.00860.00940.01520.01550.00050.0088
句法歧义第1次0.86610.86611.00000.92830.87400.87401.00000.9328
第2次0.88980.88981.00000.94170.88190.88191.00000.9372
第3次0.88190.88191.00000.93720.88190.88191.00000.9372
均值0.87930.87931.00000.93570.87930.87931.00000.9357
标准差0.01210.012100.00680.00460.004600.0025
语法歧义第1次0.85000.95770.88310.91890.83750.95710.87010.9116
第2次0.83750.95710.87010.91160.83750.95710.87010.9116
第3次0.85000.97140.87180.91890.83750.95710.87010.9116
均值0.84580.96210.87500.91650.83750.95710.87010.9116
标准差0.00720.00810.00710.00420000
语义/范围歧义第1次0.71670.81610.85470.83500.71100.80970.85370.8311
第2次0.73090.83230.85710.84450.71100.80450.85960.8311
第3次0.72800.83170.85380.84260.68840.78140.85260.8154
均值0.72520.82670.85520.84070.70350.79850.85530.8259
标准差0.00750.00920.00170.00500.01300.01510.00380.0091
语用歧义第1次0.63041.00000.63040.77330.61960.96610.63330.7651
第2次0.60870.98250.61540.75680.59780.96490.61110.7483
第3次0.57610.96360.58890.73100.61961.00000.61960.7651
均值0.60510.98200.61160.75370.61230.97700.62130.7595
标准差0.02730.01770.02100.02130.01260.01930.01120.0097
语言错误歧义第1次0.81180.97180.83130.89610.81180.97180.83130.8961
第2次0.81180.97180.83130.89610.78820.97100.80720.8816
第3次0.80000.95770.82930.88890.80000.95770.82930.8889
均值0.80790.96710.83060.89370.80000.96680.82260.8889
标准差0.00680.00810.00110.00420.01180.00790.01340.0072
), ArticleFig(id=1329419396990218515, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=CN, label=表6, caption=

不同温度参数稳定性与准确性比较

, figureFileSmall=null, figureFileBig=null, tableContent=
歧义类型实验进程temperature为0.5temperature为0
准确率召回率精确率F1分数准确率召回率精确率F1分数
词汇歧义第1次0.84440.87020.96610.91570.85930.87880.97480.9243
第2次0.87410.89390.97520.93280.87410.89390.97520.9328
第3次0.86670.87970.98320.92860.83700.85610.97410.9113
均值0.86170.88130.97480.92570.85680.87630.97470.9228
标准差0.01340.01180.00860.00940.01520.01550.00050.0088
句法歧义第1次0.86610.86611.00000.92830.87400.87401.00000.9328
第2次0.88980.88981.00000.94170.88190.88191.00000.9372
第3次0.88190.88191.00000.93720.88190.88191.00000.9372
均值0.87930.87931.00000.93570.87930.87931.00000.9357
标准差0.01210.012100.00680.00460.004600.0025
语法歧义第1次0.85000.95770.88310.91890.83750.95710.87010.9116
第2次0.83750.95710.87010.91160.83750.95710.87010.9116
第3次0.85000.97140.87180.91890.83750.95710.87010.9116
均值0.84580.96210.87500.91650.83750.95710.87010.9116
标准差0.00720.00810.00710.00420000
语义/范围歧义第1次0.71670.81610.85470.83500.71100.80970.85370.8311
第2次0.73090.83230.85710.84450.71100.80450.85960.8311
第3次0.72800.83170.85380.84260.68840.78140.85260.8154
均值0.72520.82670.85520.84070.70350.79850.85530.8259
标准差0.00750.00920.00170.00500.01300.01510.00380.0091
语用歧义第1次0.63041.00000.63040.77330.61960.96610.63330.7651
第2次0.60870.98250.61540.75680.59780.96490.61110.7483
第3次0.57610.96360.58890.73100.61961.00000.61960.7651
均值0.60510.98200.61160.75370.61230.97700.62130.7595
标准差0.02730.01770.02100.02130.01260.01930.01120.0097
语言错误歧义第1次0.81180.97180.83130.89610.81180.97180.83130.8961
第2次0.81180.97180.83130.89610.78820.97100.80720.8816
第3次0.80000.95770.82930.88890.80000.95770.82930.8889
均值0.80790.96710.83060.89370.80000.96680.82260.8889
标准差0.00680.00810.00110.00420.01180.00790.01340.0072
), ArticleFig(id=1329419397082493204, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=EN, label=Table 7, caption=

Description Analysis of Data Set

, figureFileSmall=null, figureFileBig=null, tableContent=
代表性
文献
数据类型是否为
孤立
单句
是否提供
文档级
上下文
文献[1]经典教学与分析用例句是否
文献[13]从多个项目摘取的“典型歧义句”是否
文献[20]零散选取的独立样本, 来自系统需求、学术案例、人工设计示例是否
文献[22]从 scribd.com 下载4个开源SRS纯文本文档, 未做任何修改,用于独立验证歧义检测工具的效果,彼此间无任何关联是否
文献[23]专为检验而收集的独立例句是否
文献[25]正则匹配后人工确认的 38类模式句是否
文献[26]POS实验中逐句标注是否
文献[44]铁路、航天、气象等6个完全不同领域的独立抽取句是否
文献[45]咖啡机、电商、图书馆、智能家居4个独立系统例句是否
文献[46]3类数据集(分类/缺陷/冲突),来源公开库/真实项目/人工构建;3类间无关联,无共享样本是否
文献[47]无人机、医疗、缺陷追踪等6个独立领域例句是否
文献[48]“自然语言歧义案例”,来源英语日常/
词典/语料库/真实场景
是否
), ArticleFig(id=1329419397178962198, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=CN, label=表7, caption=

数据集的描述分析

, figureFileSmall=null, figureFileBig=null, tableContent=
代表性
文献
数据类型是否为
孤立
单句
是否提供
文档级
上下文
文献[1]经典教学与分析用例句是否
文献[13]从多个项目摘取的“典型歧义句”是否
文献[20]零散选取的独立样本, 来自系统需求、学术案例、人工设计示例是否
文献[22]从 scribd.com 下载4个开源SRS纯文本文档, 未做任何修改,用于独立验证歧义检测工具的效果,彼此间无任何关联是否
文献[23]专为检验而收集的独立例句是否
文献[25]正则匹配后人工确认的 38类模式句是否
文献[26]POS实验中逐句标注是否
文献[44]铁路、航天、气象等6个完全不同领域的独立抽取句是否
文献[45]咖啡机、电商、图书馆、智能家居4个独立系统例句是否
文献[46]3类数据集(分类/缺陷/冲突),来源公开库/真实项目/人工构建;3类间无关联,无共享样本是否
文献[47]无人机、医疗、缺陷追踪等6个独立领域例句是否
文献[48]“自然语言歧义案例”,来源英语日常/
词典/语料库/真实场景
是否
), ArticleFig(id=1329419397304791319, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=EN, label=Table 8, caption=

Performance Comparison of LMAdetect and Regular Expression Methods (Lexical Ambiguity)

, figureFileSmall=null, figureFileBig=null, tableContent=
工具/方法准确率召回率精确率F1分数
仅使用规则0.60740.607410.7558
仅使用大语言模型0.68090.76860.86920.8158
LMAdetect0.87410.88720.98330.9328
正则表达式0.89030.23700.62750.3440
), ArticleFig(id=1329419397367705880, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=CN, label=表8, caption=

LMAdetect与正则表达式方法性能比较(词汇歧义)

, figureFileSmall=null, figureFileBig=null, tableContent=
工具/方法准确率召回率精确率F1分数
仅使用规则0.60740.607410.7558
仅使用大语言模型0.68090.76860.86920.8158
LMAdetect0.87410.88720.98330.9328
正则表达式0.89030.23700.62750.3440
), ArticleFig(id=1329419397443203353, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=EN, label=Table 9, caption=

Performance Comparison of LMAdetect and Regular Expression Methods (Semantic/Scope Ambiguity)

, figureFileSmall=null, figureFileBig=null, tableContent=
工具/方法准确率召回率精确率F1分数
仅使用规则0.43910.439110.6102
仅使用大语言模型0.60060.70430.80300.7504
LMAdetect0.70820.80910.85030.8292
正则表达式0.76530.65160.62500.6380
), ArticleFig(id=1329419397501923610, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=CN, label=表9, caption=

LMAdetect与正则表达式方法性能比较(语义/范围歧义)

, figureFileSmall=null, figureFileBig=null, tableContent=
工具/方法准确率召回率精确率F1分数
仅使用规则0.43910.439110.6102
仅使用大语言模型0.60060.70430.80300.7504
LMAdetect0.70820.80910.85030.8292
正则表达式0.76530.65160.62500.6380
), ArticleFig(id=1329419397585809691, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=EN, label=Table 10, caption=

Performance Comparison of LMAdetect and POS Tagging Methods (Syntax Ambiguity)

, figureFileSmall=null, figureFileBig=null, tableContent=
工具/方法准确率召回率精确率F1分数
仅使用规则0.82500.825010.9041
仅使用大语言模型0.12500.31250.17240.2222
LMAdetect0.83750.95710.87010.9116
POS标记0.89360.81820.67500.7403
), ArticleFig(id=1329419397640335644, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=CN, label=表10, caption=

LMAdetect与POS标记方法性能比较(语法歧义)

, figureFileSmall=null, figureFileBig=null, tableContent=
工具/方法准确率召回率精确率F1分数
仅使用规则0.82500.825010.9041
仅使用大语言模型0.12500.31250.17240.2222
LMAdetect0.83750.95710.87010.9116
POS标记0.89360.81820.67500.7403
), ArticleFig(id=1329419397699055901, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=EN, label=Table 11, caption=

Performance Comparison of LMAdetect and Existing Methods (Syntactic Ambiguity)

, figureFileSmall=null, figureFileBig=null, tableContent=
工具/方法准确率召回率精确率F1分数
仅使用规则0.500010.50000.6667
仅使用大语言模型0.401610.40160.5730
LMAdetect0.90550.905510.9504
正则表达式0.89390.18110.62160.2807
POS标记0.70310.58020.59840.5892
Paska0.76380.763810.8664
), ArticleFig(id=1329419397757776158, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=CN, label=表11, caption=

LMAdetect与现有方法性能比较(句法歧义)

, figureFileSmall=null, figureFileBig=null, tableContent=
工具/方法准确率召回率精确率F1分数
仅使用规则0.500010.50000.6667
仅使用大语言模型0.401610.40160.5730
LMAdetect0.90550.905510.9504
正则表达式0.89390.18110.62160.2807
POS标记0.70310.58020.59840.5892
Paska0.76380.763810.8664
), ArticleFig(id=1329419397850050847, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=EN, label=Table 12, caption=

Performance Comparison of Detect Pragmatic Ambiguity

, figureFileSmall=null, figureFileBig=null, tableContent=
工具/方法准确率召回率精确率F1分数
仅使用规则0.065210.06520.1224
仅使用大语言模型0.35870.45830.62260.5280
LMAdetect0.53260.96080.54440.6950
), ArticleFig(id=1329419397929742624, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=CN, label=表12, caption=

检测语用歧义性能比较

, figureFileSmall=null, figureFileBig=null, tableContent=
工具/方法准确率召回率精确率F1分数
仅使用规则0.065210.06520.1224
仅使用大语言模型0.35870.45830.62260.5280
LMAdetect0.53260.96080.54440.6950
), ArticleFig(id=1329419397996851489, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=EN, label=Table 13, caption=

Performance Comparison of Detecting Language Error Ambiguity

, figureFileSmall=null, figureFileBig=null, tableContent=
工具/方法准确率召回率精确率F1分数
仅使用规则0.64710.647110.7857
仅使用大语言模型0.76470.98480.77380.8667
LMAdetect0.80000.97140.81930.8889
), ArticleFig(id=1329419398063960354, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=CN, label=表13, caption=

检测语言错误歧义性能比较

, figureFileSmall=null, figureFileBig=null, tableContent=
工具/方法准确率召回率精确率F1分数
仅使用规则0.64710.647110.7857
仅使用大语言模型0.76470.98480.77380.8667
LMAdetect0.80000.97140.81930.8889
), ArticleFig(id=1329419398122680611, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=EN, label=Table 14, caption=

Performance Comparison of General Model Detecting Lexical Ambiguity and Syntactic Ambiguity

, figureFileSmall=null, figureFileBig=null, tableContent=
通用模型词汇歧义句法歧义
准确率召回率精确率F1分数准确率召回率精确率F1分数
qwen2.5-72b-instruct0.63700.74780.81130.77830.92910.929110.9633
deepseek-v3-03240.87410.88720.98330.93280.87410.905510.9504
gpt-4o0.65190.70400.89800.78920.92130.93600.98320.9590
claude-3-5-sonnet-202410220.68150.94850.70770.81060.95430.984310.9921
grok-40.70370.93140.74220.82610.91340.913410.9547
gemini-2.5-pro0.69630.96910.71210.82100.89760.92680.96610.9461
), ArticleFig(id=1329419398193983780, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=CN, label=表14, caption=

通用模型检测词汇歧义和句法歧义性能比较

, figureFileSmall=null, figureFileBig=null, tableContent=
通用模型词汇歧义句法歧义
准确率召回率精确率F1分数准确率召回率精确率F1分数
qwen2.5-72b-instruct0.63700.74780.81130.77830.92910.929110.9633
deepseek-v3-03240.87410.88720.98330.93280.87410.905510.9504
gpt-4o0.65190.70400.89800.78920.92130.93600.98320.9590
claude-3-5-sonnet-202410220.68150.94850.70770.81060.95430.984310.9921
grok-40.70370.93140.74220.82610.91340.913410.9547
gemini-2.5-pro0.69630.96910.71210.82100.89760.92680.96610.9461
), ArticleFig(id=1329419398265286950, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=EN, label=Table 15, caption=

Performance Comparison of General Model Detecting Syntactic Ambiguity and Semantic/Scope Ambiguity

, figureFileSmall=null, figureFileBig=null, tableContent=
通用模型语法歧义语义/范围歧义
准确率召回率精确率F1分数准确率召回率精确率F1分数
qwen2.5-72b-instruct0.78750.90000.86300.88110.52410.72550.65370.6877
deepseek-v3-03240.83750.95710.87010.91160.83750.80910.85030.8292
gpt-4o0.71250.87690.79170.83210.50710.53590.90400.6729
claude-3-5-sonnet-202410220.512510.51250.67770.67140.91860.71390.8034
grok-40.500010.50000.66670.62040.680110.8096
gemini-2.5-pro0.625010.62500.76920.66570.95530.68710.7993
), ArticleFig(id=1329419398332395815, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=CN, label=表15, caption=

通用模型检测语法歧义和语义/范围歧义性能比较

, figureFileSmall=null, figureFileBig=null, tableContent=
通用模型语法歧义语义/范围歧义
准确率召回率精确率F1分数准确率召回率精确率F1分数
qwen2.5-72b-instruct0.78750.90000.86300.88110.52410.72550.65370.6877
deepseek-v3-03240.83750.95710.87010.91160.83750.80910.85030.8292
gpt-4o0.71250.87690.79170.83210.50710.53590.90400.6729
claude-3-5-sonnet-202410220.512510.51250.67770.67140.91860.71390.8034
grok-40.500010.50000.66670.62040.680110.8096
gemini-2.5-pro0.625010.62500.76920.66570.95530.68710.7993
), ArticleFig(id=1329419398449836328, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=EN, label=Table 16, caption=

Performance Comparison of General Model Detecting Pragmatic Ambiguity and Language Error Ambiguity

, figureFileSmall=null, figureFileBig=null, tableContent=
通用模型语用歧义语言错误歧义
准确率召回率精确率F1分数准确率召回率精确率F1分数
qwen2.5-72b-instruct0.35870.60000.47140.52800.70590.96770.72290.8276
deepseek-v3-03240.53260.96080.54440.69500.80000.97140.81930.8889
gpt-4o0.59780.597810.74830.84710.94740.88890.9172
claude-3-5-sonnet-202410220.489110.48910.65690.835310.83530.9103
grok-40.43480.439610.61070.988210.98820.9941
gemini-2.5-pro0.60870.81160.70890.75680.941210.94120.9697
), ArticleFig(id=1329419398521139497, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=CN, label=表16, caption=

通用模型检测语用歧义和语言错误歧义性能比较

, figureFileSmall=null, figureFileBig=null, tableContent=
通用模型语用歧义语言错误歧义
准确率召回率精确率F1分数准确率召回率精确率F1分数
qwen2.5-72b-instruct0.35870.60000.47140.52800.70590.96770.72290.8276
deepseek-v3-03240.53260.96080.54440.69500.80000.97140.81930.8889
gpt-4o0.59780.597810.74830.84710.94740.88890.9172
claude-3-5-sonnet-202410220.489110.48910.65690.835310.83530.9103
grok-40.43480.439610.61070.988210.98820.9941
gemini-2.5-pro0.60870.81160.70890.75680.941210.94120.9697
), ArticleFig(id=1329419398596636970, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=EN, label=Table 17, caption=

Performance Comparison of Inference Model Detecting Lexical Ambiguity and Syntactic Ambiguity

, figureFileSmall=null, figureFileBig=null, tableContent=
推理模型词汇歧义句法歧义
准确率召回率精确率F1分数准确率召回率精确率F1分数
qwq-max-search0.93330.96180.96920.96550.90550.92000.98290.9504
deepseek-reasoner0.62220.70590.84000.76710.82680.826810.9052
o1-preview0.69630.77050.87850.82100.83460.834610.9099
claude-3-7-sonnet-thinking0.85190.935010.96640.88190.881910.9371
grok-3-reasoner0.63700.66150.94510.77830.88190.881910.9371
gemini-2.5-pro-thinking0.66670.80360.79650.80000.92910.929110.9633
), ArticleFig(id=1329419398663745835, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=CN, label=表17, caption=

推理模型检测词汇歧义和句法歧义性能比较

, figureFileSmall=null, figureFileBig=null, tableContent=
推理模型词汇歧义句法歧义
准确率召回率精确率F1分数准确率召回率精确率F1分数
qwq-max-search0.93330.96180.96920.96550.90550.92000.98290.9504
deepseek-reasoner0.62220.70590.84000.76710.82680.826810.9052
o1-preview0.69630.77050.87850.82100.83460.834610.9099
claude-3-7-sonnet-thinking0.85190.935010.96640.88190.881910.9371
grok-3-reasoner0.63700.66150.94510.77830.88190.881910.9371
gemini-2.5-pro-thinking0.66670.80360.79650.80000.92910.929110.9633
), ArticleFig(id=1329419398726660396, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=EN, label=Table 18, caption=

Performance Comparison of Inference Model Detecting Syntactic Ambiguity and Semantic/Scope Ambiguity

, figureFileSmall=null, figureFileBig=null, tableContent=
推理模型语法歧义语义/范围歧义
准确率召回率精确率F1分数准确率召回率精确率F1分数
qwq-max-search0.58750.77050.71210.74020.53540.79410.62170.6974
deepseek-reasoner0.43750.83330.47950.60870.59210.73850.74910.7438
o1-preview0.78750.90000.86300.88110.57220.65370.82110.7279
claude-3-7-sonnet-thinking0.65000.712310.83200.62890.86050.70030.7722
grok-3-reasoner0.37500.42250.76920.54550.30030.32020.82810.4619
gemini-2.5-pro-thinking0.65000.86670.72220.78790.50140.68870.64840.6679
), ArticleFig(id=1329419398869266733, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=CN, label=表18, caption=

推理模型检测语法歧义和语义/范围歧义性能比较

, figureFileSmall=null, figureFileBig=null, tableContent=
推理模型语法歧义语义/范围歧义
准确率召回率精确率F1分数准确率召回率精确率F1分数
qwq-max-search0.58750.77050.71210.74020.53540.79410.62170.6974
deepseek-reasoner0.43750.83330.47950.60870.59210.73850.74910.7438
o1-preview0.78750.90000.86300.88110.57220.65370.82110.7279
claude-3-7-sonnet-thinking0.65000.712310.83200.62890.86050.70030.7722
grok-3-reasoner0.37500.42250.76920.54550.30030.32020.82810.4619
gemini-2.5-pro-thinking0.65000.86670.72220.78790.50140.68870.64840.6679
), ArticleFig(id=1329419398936375598, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=EN, label=Table 19, caption=

Performance Comparison of Inference Model Detecting Pragmatic Ambiguity and Language Error Ambiguity

, figureFileSmall=null, figureFileBig=null, tableContent=
推理模型语用歧义语言错误歧义
准确率召回率精确率F1分数准确率召回率精确率F1分数
qwq-max-search0.35870.97060.36260.52080.83530.98610.84520.9103
deepseek-reasoner0.33700.81580.36470.50410.95290.97590.97590.9759
o1-preview0.42390.72220.50650.59540.68240.906310.9508
claude-3-7-sonnet-thinking0.510910.51090.67630.63530.871010.9310
grok-3-reasoner0.52170.70590.66670.68570.69410.855110.9219
gemini-2.5-pro-thinking0.902210.90220.94860.83530.87650.94670.9103
), ArticleFig(id=1329419399053816111, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, language=CN, label=表19, caption=

推理模型检测语用歧义和语言错误歧义性能比较

, figureFileSmall=null, figureFileBig=null, tableContent=
推理模型语用歧义语言错误歧义
准确率召回率精确率F1分数准确率召回率精确率F1分数
qwq-max-search0.35870.97060.36260.52080.83530.98610.84520.9103
deepseek-reasoner0.33700.81580.36470.50410.95290.97590.97590.9759
o1-preview0.42390.72220.50650.59540.68240.906310.9508
claude-3-7-sonnet-thinking0.510910.51090.67630.63530.871010.9310
grok-3-reasoner0.52170.70590.66670.68570.69410.855110.9219
gemini-2.5-pro-thinking0.902210.90220.94860.83530.87650.94670.9103
)], attaches=null, journal=Journal(id=1324759606947315908, delFlag=0, nameCn=计算机研究与发展, nameEn=Journal of Computer Research and Development, nameHistory1=null, nameHistory2=null, issn=1000-1239, eissn=null, cn=11-1777/TP, coden=null, periodic=0, language=CN, oaType=null, ccby=null, superviseOffice=null, ownerOffice=null, pubOffice=null, editorOffice=null, officeType=null, aims=null, clcCode=null, officeProv=null, officeCity=null, officeAddr=null, officeZip=null, officeEmail=null, officePhone=null, editDirector=null, officeDirector=null, officeDirectorPhone=null, officeStaffNum=null, officeEmpNum=null, coverPicUrl=k2l8zgqwstuxxevFX2qxVA==, journalPrice=null, startedYear=null, abbrevIsoEn=Journal of Computer Research and Development, journalRemark=null, publicationField=null, createdTime=1793776903141, updatedTime=1793850698612, createdBy=18614031015, updatedBy=13701087609, firstLetterCn=J, firstLetterEn=J, subjectCode=Electronic Information, subjectName=null, subjectCodeEn=Electronic Information, subjectNameEn=null, picCn=k2l8zgqwstuxxevFX2qxVA==, picEn=r6k0Ry+RD+c/VXj5QarmDw==, jcr=null, cjcr=null, exts=[JournalExt(id=1325069127710286688, language=CN, name=计算机研究与发展, nameHistory1=null, nameHistory2=null, managedBy=, sponsoredBy=, publishedBy=, editorOffice=, officeProv=null, officeCity=null, officeAddr=, officeZip=, editDirector=, officeDirector=null, officePhone=null, coverPicUrl=null, journalRemark=, submitArticleUrl=null, websiteUrl=, createdTime=1793850698640, updatedTime=1793850698640, createdBy=13701087609, updatedBy=13701087609, submissionGuidelinesUrl=, submissionAuthorUrl=https://crad.ict.ac.cn/journalx/authorLogOn.action, submissionEditorUrl=https://crad.ict.ac.cn/journalx/editorLogOn.action, submissionReviewUrl=https://crad.ict.ac.cn/journalx/expertLogOn.action, submissionCeEditorUrl=https://crad.ict.ac.cn/journalx/editorInChiefLogOn.action, submissionAeEditorUrl=, option={"copyright":""}), JournalExt(id=1325069127777395553, language=EN, name=Journal of Computer Research and Development, nameHistory1=null, nameHistory2=null, managedBy=, sponsoredBy=, publishedBy=, editorOffice=, officeProv=null, officeCity=null, officeAddr=, officeZip=, editDirector=, officeDirector=null, officePhone=null, coverPicUrl=null, journalRemark=, submitArticleUrl=null, websiteUrl=, createdTime=1793850698656, updatedTime=1793850698656, createdBy=13701087609, updatedBy=13701087609, submissionGuidelinesUrl=, submissionAuthorUrl=https://crad.ict.ac.cn/journalx/authorLogOn.action, submissionEditorUrl=https://crad.ict.ac.cn/journalx/editorLogOn.action, submissionReviewUrl=https://crad.ict.ac.cn/journalx/expertLogOn.action, submissionCeEditorUrl=https://crad.ict.ac.cn/journalx/editorInChiefLogOn.action, submissionAeEditorUrl=, option={"copyright":""})], databaseList=null, tenantJournalId=1324759914146529478, websiteList=[Website(id=1325070300139892771, webName=null, webTitle=null, webDomain=null, webCopyrigh=null, webIpcNo=null, seoTitle=null, seoKeywords=null, seoDescription=null, tenantJournalId=null, journalId=1324759914146529478, journalNameCn=null, journalNameEn=null, grayFlag=null, tenantId=1146029695717560320, platformId=null, journalGroupId=null, journalGroupNameCn=null, journalGroupNameEn=null, type=1, domain=https://castjournals.cast.org.cn/joweb/jsjyjyfz/CN, language=CN, createTime=1793850978169, createBy=18614031015, updateTime=1793851040259, updateBy=18614031015, name=计算机研究与发展-中文, tplId=1146099689490845704, title=计算机研究与发展, delFlag=0, indexPage=/home, props=[WebsiteProps(id=1325070893751349360, tenantId=1146029695717560320, journalId=null, journalGroupId=null, siteId=1325070300139892771, code=articleTextType, value=kx, createTime=1793851119697, updateTime=1793851119697, creator=18614031015, updator=18614031015), WebsiteProps(id=1325070893730377837, tenantId=1146029695717560320, journalId=null, journalGroupId=null, siteId=1325070300139892771, code=banner, value=null, createTime=1793851119692, updateTime=1793851119692, creator=18614031015, updator=18614031015), WebsiteProps(id=1325070893772320883, tenantId=1146029695717560320, journalId=null, journalGroupId=null, siteId=1325070300139892771, code=grayFlag, value=0, createTime=1793851119702, updateTime=1793851119702, creator=18614031015, updator=18614031015), WebsiteProps(id=1325070893721989228, tenantId=1146029695717560320, journalId=null, journalGroupId=null, siteId=1325070300139892771, code=logo, value=https://castjournals.cast.org.cn/joweb/jsjyjyfz/CN/file/pic?fileId=U27tDsy717YF7XSPA+Vwdw==, createTime=1793851119690, updateTime=1793851119690, creator=18614031015, updator=18614031015), WebsiteProps(id=1325070893784903797, tenantId=1146029695717560320, journalId=null, journalGroupId=null, siteId=1325070300139892771, code=minRunFlag, value=0, createTime=1793851119705, updateTime=1793851119705, creator=18614031015, updator=18614031015), WebsiteProps(id=1325070893742960751, tenantId=1146029695717560320, journalId=null, journalGroupId=null, siteId=1325070300139892771, code=picServerUrl, value=https://castjournals.cast.org.cn/joweb/jsjyjyfz/CN/file/pic, createTime=1793851119695, updateTime=1793851119695, creator=18614031015, updator=18614031015), WebsiteProps(id=1325070893780709492, tenantId=1146029695717560320, journalId=null, journalGroupId=null, siteId=1325070300139892771, code=silenceFlag, value=0, createTime=1793851119704, updateTime=1793851119704, creator=18614031015, updator=18614031015), WebsiteProps(id=1325070893738766446, tenantId=1146029695717560320, journalId=null, journalGroupId=null, siteId=1325070300139892771, code=staticResourcePath, value=https://castjournals.cast.org.cn/joweb/cast_kjdb_cn_619/, createTime=1793851119694, updateTime=1793851119694, creator=18614031015, updator=18614031015), WebsiteProps(id=1325070893755543665, tenantId=1146029695717560320, journalId=null, journalGroupId=null, siteId=1325070300139892771, code=themeColor, value=null, createTime=1793851119698, updateTime=1793851119698, creator=18614031015, updator=18614031015), WebsiteProps(id=1325070893763932274, tenantId=1146029695717560320, journalId=null, journalGroupId=null, siteId=1325070300139892771, code=themeStyle, value=null, createTime=1793851119700, updateTime=1793851119700, creator=18614031015, updator=18614031015)]), Website(id=1325070300580294698, webName=null, webTitle=null, webDomain=null, webCopyrigh=null, webIpcNo=null, seoTitle=null, seoKeywords=null, seoDescription=null, tenantJournalId=null, journalId=1324759914146529478, journalNameCn=null, journalNameEn=null, grayFlag=null, tenantId=1146029695717560320, platformId=null, journalGroupId=null, journalGroupNameCn=null, journalGroupNameEn=null, type=1, domain=https://castjournals.cast.org.cn/joweb/jsjyjyfz/EN, language=EN, createTime=1793850978274, createBy=18614031015, updateTime=1793851036638, updateBy=18614031015, name=计算机研究与发展-英文, tplId=1146101810881728533, title=Journal of Computer Research and Development, delFlag=0, indexPage=/home, props=[WebsiteProps(id=1325070925288321148, tenantId=1146029695717560320, journalId=null, journalGroupId=null, siteId=1325070300580294698, code=articleTextType, value=kx, createTime=1793851127216, updateTime=1793851127216, creator=18614031015, updator=18614031015), WebsiteProps(id=1325070925263155321, tenantId=1146029695717560320, journalId=null, journalGroupId=null, siteId=1325070300580294698, code=banner, value=null, createTime=1793851127210, updateTime=1793851127210, creator=18614031015, updator=18614031015), WebsiteProps(id=1325070925309292671, tenantId=1146029695717560320, journalId=null, journalGroupId=null, siteId=1325070300580294698, code=grayFlag, value=0, createTime=1793851127221, updateTime=1793851127221, creator=18614031015, updator=18614031015), WebsiteProps(id=1325070925254766712, tenantId=1146029695717560320, journalId=null, journalGroupId=null, siteId=1325070300580294698, code=logo, value=https://castjournals.cast.org.cn/joweb/jsjyjyfz/EN/file/pic?fileId=U27tDsy717YF7XSPA+Vwdw==, createTime=1793851127208, updateTime=1793851127208, creator=18614031015, updator=18614031015), WebsiteProps(id=1325070925326069889, tenantId=1146029695717560320, journalId=null, journalGroupId=null, siteId=1325070300580294698, code=minRunFlag, value=0, createTime=1793851127225, updateTime=1793851127225, creator=18614031015, updator=18614031015), WebsiteProps(id=1325070925279932539, tenantId=1146029695717560320, journalId=null, journalGroupId=null, siteId=1325070300580294698, code=picServerUrl, value=https://castjournals.cast.org.cn/joweb/jsjyjyfz/EN/file/pic, createTime=1793851127214, updateTime=1793851127214, creator=18614031015, updator=18614031015), WebsiteProps(id=1325070925317681280, tenantId=1146029695717560320, journalId=null, journalGroupId=null, siteId=1325070300580294698, code=silenceFlag, value=0, createTime=1793851127223, updateTime=1793851127223, creator=18614031015, updator=18614031015), WebsiteProps(id=1325070925271543930, tenantId=1146029695717560320, journalId=null, journalGroupId=null, siteId=1325070300580294698, code=staticResourcePath, value=https://castjournals.cast.org.cn/joweb/cast_kjdb_en_623/, createTime=1793851127212, updateTime=1793851127212, creator=18614031015, updator=18614031015), WebsiteProps(id=1325070925292515453, tenantId=1146029695717560320, journalId=null, journalGroupId=null, siteId=1325070300580294698, code=themeColor, value=null, createTime=1793851127217, updateTime=1793851127217, creator=18614031015, updator=18614031015), WebsiteProps(id=1325070925300904062, tenantId=1146029695717560320, journalId=null, journalGroupId=null, siteId=1325070300580294698, code=themeStyle, value=null, createTime=1793851127219, updateTime=1793851127219, creator=18614031015, updator=18614031015)])], journalTitle=计算机研究与发展, weixinUrl=null, journalUrl=https://crad.ict.ac.cn/, iacademicId=null, status=1, seqNo=null, journalTitleEn=Journal of Computer Research and Development, journalPhotoCn=k2l8zgqwstuxxevFX2qxVA==, journalPhotoEn=r6k0Ry+RD+c/VXj5QarmDw==, journalFirstLetter=J, journalRecommend=null, journalNew=null, journalCollection=null, jcrJf=null, cjcrJf=null, jcrJfStr=null, cjcrJfStr=null, submissionFirstDecision=null, sciSubjectClassification=null, casSubjectClassification=null, citeScore=null, totalCitationFrequency=null, icpCode=null, psCode=null, advertisingLicenseCode=null, copyrightInformation=null, country=null, option=, provinceCode=null, provinceName=null, collectFlag=false, interPubPlatform=, interPubPlatformUrl=null), detailUrlCn=https://castjournals.cast.org.cn/joweb/jsjyjyfz/CN/10.7544/issn1000-1239.202550700, detailUrlEn=https://castjournals.cast.org.cn/joweb/jsjyjyfz/EN/10.7544/issn1000-1239.202550700, pdfUrlCn=https://castjournals.cast.org.cn/joweb/jsjyjyfz/CN/PDF/10.7544/issn1000-1239.202550700, pdfUrlEn=https://castjournals.cast.org.cn/joweb/jsjyjyfz/EN/PDF/10.7544/issn1000-1239.202550700, aliStartDate=0, aliEndDate=0, collectionFlag=false, citedCount=null, citedUrl=null, previewStatus=0, delFlag=0, hasFullText=1, orderTime=1774972800000, fullTextJson=null, articleText=null, reference=null)
收藏切换
基于大语言模型的需求歧义检测方法
高俊涛 1 , 刘芳 1 , 杨溢龙 2, *
计算机研究与发展 | 大模型与软件工程专题 2026,63(4): 827-853
收起
收藏切换
计算机研究与发展 |大模型与软件工程专题 2026 , 63 (4) : 827 -853
基于大语言模型的需求歧义检测方法
全屏
[Author(id=1329419393592832226, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, orderNo=0, firstName=null, middleName=null, lastName=null, nameCn=null, orcid=null, stid=null, country=null, authorPic=null, dead=0, email=gjt@nepu.edu.cn, emailSecond=null, emailThird=null, correspondingAuthor=0, authorType=1, ext={EN=AuthorExt(id=1329419393664135396, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, authorId=1329419393592832226, language=EN, stringName=Juntao Gao, firstName=Juntao, middleName=null, lastName=Gao, prefix=null, suffix=null, authorComment=null, nameInitials=null, affiliation=null, department=null, xref=1, address=1School of Computer and Information Technology, Northeast Petroleum University, Daqing, Heilongjiang 163318, bio={"content":"

born in 1979. PhD, associate professor. Member of CCF. His main research interests include data analysis, process mining, business process management, and software engineering

"}, bioImg=null, bioContent=

born in 1979. PhD, associate professor. Member of CCF. His main research interests include data analysis, process mining, business process management, and software engineering

, aboutCorrespAuthor=null), CN=AuthorExt(id=1329419393735438565, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, authorId=1329419393592832226, language=CN, stringName=高俊涛, firstName=null, middleName=null, lastName=null, prefix=null, suffix=null, authorComment=null, nameInitials=null, affiliation=null, department=null, xref=1, address=1东北石油大学计算机与信息技术学院 黑龙江大庆 163318, bio={"img":"7wHUc/7u1ytuiPSj26OsFQ==","content":"

1979年生。博士,副教授。CCF会员。主要研究方向为数据分析、过程挖掘、业务过程管理、软件工程

"}, bioImg=7wHUc/7u1ytuiPSj26OsFQ==, bioContent=

1979年生。博士,副教授。CCF会员。主要研究方向为数据分析、过程挖掘、业务过程管理、软件工程

, aboutCorrespAuthor=null)}, companyList=[AuthorCompany(id=1329419393433448667, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, xref=1, ext=[AuthorCompanyExt(id=1329419393441837276, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, companyId=1329419393433448667, language=EN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=1School of Computer and Information Technology, Northeast Petroleum University, Daqing, Heilongjiang 163318), AuthorCompanyExt(id=1329419393450225885, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, companyId=1329419393433448667, language=CN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=1东北石油大学计算机与信息技术学院 黑龙江大庆 163318)])]), Author(id=1329419393802547431, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, orderNo=1, firstName=null, middleName=null, lastName=null, nameCn=null, orcid=null, stid=null, country=null, authorPic=null, dead=0, email=null, emailSecond=null, emailThird=null, correspondingAuthor=0, authorType=1, ext={EN=AuthorExt(id=1329419393886433513, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, authorId=1329419393802547431, language=EN, stringName=Fang Liu, firstName=Fang, middleName=null, lastName=Liu, prefix=null, suffix=null, authorComment=null, nameInitials=null, affiliation=null, department=null, xref=1, address=1School of Computer and Information Technology, Northeast Petroleum University, Daqing, Heilongjiang 163318, bio={"content":"

born in 1999. Master. Her main research interests include static analysis of requirements, and ambiguity detection and resolution

"}, bioImg=null, bioContent=

born in 1999. Master. Her main research interests include static analysis of requirements, and ambiguity detection and resolution

, aboutCorrespAuthor=null), CN=AuthorExt(id=1329419393940959466, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, authorId=1329419393802547431, language=CN, stringName=刘芳, firstName=null, middleName=null, lastName=null, prefix=null, suffix=null, authorComment=null, nameInitials=null, affiliation=null, department=null, xref=1, address=1东北石油大学计算机与信息技术学院 黑龙江大庆 163318, bio={"img":"ZgtW+MT+sohC3a4qrLj2yQ==","content":"

1999年生。硕士。主要研究方向为需求的静态分析、歧义检测与修复

"}, bioImg=ZgtW+MT+sohC3a4qrLj2yQ==, bioContent=

1999年生。硕士。主要研究方向为需求的静态分析、歧义检测与修复

, aboutCorrespAuthor=null)}, companyList=[AuthorCompany(id=1329419393433448667, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, xref=1, ext=[AuthorCompanyExt(id=1329419393441837276, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, companyId=1329419393433448667, language=EN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=1School of Computer and Information Technology, Northeast Petroleum University, Daqing, Heilongjiang 163318), AuthorCompanyExt(id=1329419393450225885, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, companyId=1329419393433448667, language=CN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=1东北石油大学计算机与信息技术学院 黑龙江大庆 163318)])]), Author(id=1329419394016456940, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, orderNo=2, firstName=null, middleName=null, lastName=null, nameCn=null, orcid=null, stid=null, country=null, authorPic=null, dead=0, email=yilongyang@buaa.edu.cn, emailSecond=null, emailThird=null, correspondingAuthor=1, authorType=1, ext={EN=AuthorExt(id=1329419394100343022, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, authorId=1329419394016456940, language=EN, stringName=Yilong Yang, firstName=Yilong, middleName=null, lastName=Yang, prefix=null, suffix=null, authorComment=null, nameInitials=null, affiliation=null, department=null, xref=2, *, address=2School of Software, Beihang University, Beijing 100080, bio={"content":"

born in 1988. PhD, associate professor. Member of CCF. His main research interests include intelligent requirements engineering, intelligent software engineering, and intelligent system engineering

"}, bioImg=null, bioContent=

born in 1988. PhD, associate professor. Member of CCF. His main research interests include intelligent requirements engineering, intelligent software engineering, and intelligent system engineering

, aboutCorrespAuthor=null), CN=AuthorExt(id=1329419394154868975, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, authorId=1329419394016456940, language=CN, stringName=杨溢龙, firstName=null, middleName=null, lastName=null, prefix=null, suffix=null, authorComment=null, nameInitials=null, affiliation=null, department=null, xref=2, *, address=2北京航空航天大学软件学院 北京 100080, bio={"img":"XCQeUu5ZhYw9yeJLlNcz/w==","content":"

1988年生。博士,副教授。CCF会员。主要研究方向为智能需求工程、智能软件工程、智能系统工程

"}, bioImg=XCQeUu5ZhYw9yeJLlNcz/w==, bioContent=

1988年生。博士,副教授。CCF会员。主要研究方向为智能需求工程、智能软件工程、智能系统工程

, aboutCorrespAuthor=null)}, companyList=[AuthorCompany(id=1329419393513140446, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, xref=2, ext=[AuthorCompanyExt(id=1329419393521529055, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, companyId=1329419393513140446, language=EN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=2School of Software, Beihang University, Beijing 100080), AuthorCompanyExt(id=1329419393529917664, tenantId=1146029695717560320, journalId=1324759914146529478, articleId=1329419390925254852, companyId=1329419393513140446, language=CN, country=null, province=null, city=null, postcode=null, companyName=null, departmentName=null, remark=2北京航空航天大学软件学院 北京 100080)])])]
高俊涛1 , 刘芳1, 杨溢龙2, *
作者信息
  • 1东北石油大学计算机与信息技术学院 黑龙江大庆 163318
  • 2北京航空航天大学软件学院 北京 100080
通讯作者:
杨溢龙()
作者简介:

1979年生。博士,副教授。CCF会员。主要研究方向为数据分析、过程挖掘、业务过程管理、软件工程

1999年生。硕士。主要研究方向为需求的静态分析、歧义检测与修复

1988年生。博士,副教授。CCF会员。主要研究方向为智能需求工程、智能软件工程、智能系统工程

Requirement Ambiguity Detection Method Based on Large Language Model
Juntao Gao1 , Fang Liu1, Yilong Yang2, *
Affiliations
  • 1School of Computer and Information Technology, Northeast Petroleum University, Daqing, Heilongjiang 163318
  • 2School of Software, Beihang University, Beijing 100080
  • born in 1979. PhD, associate professor. Member of CCF. His main research interests include data analysis, process mining, business process management, and software engineering

    born in 1999. Master. Her main research interests include static analysis of requirements, and ambiguity detection and resolution

    born in 1988. PhD, associate professor. Member of CCF. His main research interests include intelligent requirements engineering, intelligent software engineering, and intelligent system engineering

出版时间: 2026-04-01 doi: 10.7544/issn1000-1239.202550700
文章导航
收藏切换

在现代软件开发中,需求歧义是导致项目失败、成本超支和质量问题的关键因素,因此,人们对需求歧义的自动化检测进行了广泛的研究。虽然这些方法降低了人工审查的时间成本,但歧义检测解决方案类型不全,难以全面覆盖语言歧义对应的6种歧义类型。传统方法缺乏深层次的语义理解、逻辑关系识别以及引用/指代关系识别能力,这限制了其对语义的处理能力,无法对语用歧义以及语言错误歧义进行检测。为此,提出了一种基于大语言模型的方法(称为LMAdetect),用于自动检测需求歧义。对于给定的需求, LMAdetect根据启发式规则和大语言模型进行分析,将该需求检测分类为对应的歧义类型。然而,大语言模型经常会分类出不同的歧义类型,针对大语言模型的分类结果,LMAdetect利用基于规则的算法,将不同歧义类型分配给不同专家进行检测。最后对这些检测结果根据置信度进行汇总并输出置信度高的分类结果。对6种歧义类型共1 192个数据进行了实验,结果表明,相较传统基于规则的方法,LMAdetect的F1分数提升了34.4个百分点,相较仅使用基于大语言模型的方法,F1分数提升了31.6个百分点,对于语用歧义和语言错误歧义的检测,F1分数分别达到了0.6950和0.8889,展示了其在需求歧义检测方面的优势。

需求歧义  /  检测  /  大语言模型  /  分类  /  语义理解

In modern software development, requirements ambiguity is a key factor that leads to project failure, cost overruns, and quality issues. Therefore, the automatic detection of requirement ambiguity has been extensively studied. Although these methods reduce the time cost of manual review, their solutions are incomplete for the types of ambiguity detection, and it is difficult to fully cover the six types of ambiguity corresponding to language ambiguity. The traditional method lacks the ability of in-depth semantic understanding, logical relationship recognition and quotation/referential relationship recognition, which limits its semantic processing ability and cannot detect pragmatic ambiguity and linguistic error ambiguity. To this end, we propose a large language model-based method called LMAdetect for automatic detection of requirements ambiguity. For a given requirement, LMAdetect analyzes the requirement according to the heuristic rules and the large language model, and classifies the requirement detection into the corresponding ambiguity type. However, large language models often classify different types of ambiguity, and for the classification results of large language models, LMAdetect uses a rule-based algorithm to assign different types of ambiguity to different experts for detection. Finally, the detection results are summarized according to the confidence level, and the classification results with high confidence are output. Experiments on 1192 data of 6 ambiguity types show that compared with the traditional rule-based method, the F1 score of LMAdetect is increased by 34.4%, and compared with the method based on large language model, the F1 score is increased by 31.6%, and the F1 score of pragmatic ambiguity and linguistic error ambiguity detection reaches 0.6950 and 0.8889, respectively, demonstrating its advantages in requirement ambiguity detection.

requirement ambiguity  /  detection  /  large language model  /  classification  /  semantic understanding
高俊涛, 刘芳, 杨溢龙. 基于大语言模型的需求歧义检测方法. 计算机研究与发展, 2026 , 63 (4) : 827 -853 . DOI: 10.7544/issn1000-1239.202550700
Juntao Gao, Fang Liu, Yilong Yang. Requirement Ambiguity Detection Method Based on Large Language Model[J]. Journal of Computer Research and Development, 2026 , 63 (4) : 827 -853 . DOI: 10.7544/issn1000-1239.202550700
需求歧义是需求工程中的关键问题,包括语言歧义和软件工程歧义[1]。本文聚焦于语言歧义,具体研究其在自然语言需求中的检测方法,因为语言歧义是需求文档质量下降的主要原因之一,且适合通过自然语言处理(natural language processing,NLP)技术进行自动化分析。
语言歧义是Kamsties等人[2]于2000年首次系统化定义的概念,它指的是自然语言需求中因语言特性导致的多种可能性解释。如果不及时解决这些问题,就会影响需求文档的清晰性、一致性和可验证性[3-4]。需求歧义源于自然语言的多义性,可能引发开发人员误解[5]、需求冲突或返工。例如,在餐厅优惠纠纷案例中,需求语句“For every Zhongcan consumption reaches RMB 100, receive RMB 30”因 “中餐”缩写歧义(可指午餐或中式餐点),导致消费者与商家对晚餐是否适用优惠产生分歧,引发消费纠纷并最终由商家退还120元。另一个案例是文件柜收据标点纠纷中,收据语句“27 iron cabinets have been received from the supplier today, the amount of uncollected information cabinet is outstanding”因缺少逗号导致歧义(可解释为全部款项未结或仅未收柜款未结),导致买卖双方对支付义务理解不同,引发诉讼并由法院判决被告支付12960元[6]。这些真实案例凸显了需求歧义的严重影响。一方面,多种歧义类型导致需求表达不清楚,难以被利益相关人员一致理解或验证[4];另一方面,清晰的需求表达可以更好地支持软件的设计和开发。目前已确认的语言歧义类型有词汇歧义、句法歧义、语义歧义、语法歧义、语用歧义和语言错误歧义。值得注意的是,语言歧义不仅是需求质量[7]下降的指标,也是需求澄清和改进的机会指标[8]。需求歧义的检测方法由Gause等人[9]提出,是通过分析需求的多方解读来识别潜在的歧义。
鉴于需求歧义可能引发上述严重后果,尽早识别并检测其已成为需求工程的核心任务,这种识别过程被称为需求歧义检测[8-9]。值得注意的是,需求歧义的检测并非易事,而是需要深入理解需求的具体内容,对复杂的语言现象进行分析,还需准确识别需求中的表达不清的语言模式,并确认哪些需求语句可能引发多种解释。为了促进需求歧义的有效检测,研究人员提出了多种解决方案[10-11]。这些解决方案主要分为基于检查表的方法[2,12]和基于NLP的方法[10,13]两大类。前者通过预定义的语言模式检查需求文档,并根据检查表结果识别潜在歧义语句。后者通过从需求文本中提取信息以生成语言结构,并根据生成的结构推理出歧义类型。虽然这些方法促进了歧义检测工作,但它们的解决方案难以覆盖复杂的语言歧义情况。语言歧义检测的主要目的是通过消除模糊表达来提高需求文档的清晰性和一致性[10]。目前,许多需求工程工具(如基于NLP的分析工具)为检测和消除语言歧义提供了自动或半自动支持。
需求工程工具的提出为语言歧义检测提供了支持,然而现有的语言歧义检测方法仍然存在局限性。我们的研究面临以下挑战。由于语言歧义的多样性与复杂性,且语义歧义和语用歧义高度依赖上下文和领域知识,故单一方法难以全面覆盖词汇、句法、语义、语用等不同类型的歧义。传统的基于规则或词性标注的方法因缺乏深层语义理解能力,难以准确捕捉复杂的语义依赖关系或跨句逻辑关联。现有的语言歧义检测方法因依赖固定规则或局部特征,导致泛化能力不足,并且缺乏动态语义分析和大规模上下文推理能力,故难以适应多样化的语义场景。此外,现有方法在处理歧义分类时使用的精确性和召回率指标存在权衡,难以在检测全面性和准确性之间取得平衡,特别是在大规模、真实数据集上进行实验的结果表现不佳。近年来,大语言模型渐渐成为各种文本任务,如语言翻译[14-15]、文本分类[16]和文本摘要[17]等任务的有力工具[18],被用于解决一些需求工程任务,如需求生成[2]、需求验证[10]和自动需求分析[9,19]等。尽管目前未有人尝试使用大语言模型对需求歧义进行检测,但大语言模型擅长自然语言理解[12]的特点,对于检测需求歧义有一定的优势,可见大语言模型具有检测需求文档中语言歧义的潜力。然而自然语言的复杂性使得模型在理解需求文本时可能存在误解,尤其对于包含上下文依赖关系的需求文本歧义检测任务。因此,在需求歧义检测任务中,确保大语言模型能够准确把握语言的含义和上下文是一项重要挑战。
本研究提出了一种结合大语言模型与多智能体协同框架LMAdetect,通过需求文档的语言特征和上下文数据,准确识别需求文档中的语言歧义。此框架用于自动检测需求文档中的语言歧义,重点针对需求文档中常见的词汇歧义、句法歧义、语法歧义、语义/范围歧义、语用歧义、语言错误歧义进行检测。本文从多篇论文中收集了1192条需求数据,通过数据清洗工作构建了包含多种语言特征需求的数据集。此数据集覆盖了词汇、句法和语义等多个维度。本文所提出的LMAdetect框架结合了静态语言特征和动态上下文特征,并将每个语言特征进一步细分为多个子维度,从而识别需求文档中的语言歧义。本文在现有方法的基础上扩充了检测规则,新增了语义/范围、语用和语言错误歧义的条件,通过结构化提示工程增强泛化能力,并通过优先级排序机制进行优化分类。与现有方法的检测不同,本文方法扩充了知识领导大模型进行检测,提供了知识驱动的语义分析,从表层匹配到深度语义结合上下文整合,通过依存句法驱动的结构分析,从语法关系层面验证歧义是否真实存在,而非仅依赖表层词序,从而达到语义检测的深度提升。从孤立词检测到场景化上下文过滤,通过“歧义术语结合量化修饰词”的上下文过滤逻辑,可自动排除这类已量化的歧义词。本研究利用大语言模型构建智能检测机制的方法,不仅揭示了清晰需求与歧义需求之间的差异,而且实现了基于这些特定语言特征的语言歧义自动检测策略。
本文的主要贡献可归纳为3点:
1)提出了一种基于大语言模型与规则结合的多智能体协同的检测方法,通过大语言模型提取需求文档的词汇、句法和语义特征,构建多维度语言表示,相比传统工具,该方法能够有效识别复杂的句法和语义歧义。
2)设计了一种基于优先级排序机制的歧义分类机制,能够根据需求语句的上下文特征精准区分词汇歧义、句法歧义、语法歧义等多种歧义类型,并通过注意力权重排序潜在歧义语句的优先级。该机制显著提升了歧义检测的效率和准确性。
3)基于上述技术实现了面向需求工程的智能歧义检测框架LMAdetect。利用包含1192条需求文档的真实数据集,对LMAdetect框架进行了全面评估,并与多种现有方法(如Paska、POS标记)进行了对比。实验结果表明,LMAdetect在已有的需求数据中成功检测出传统方法检测不到的歧义,且在可检测到的歧义类型中的召回率平均提升35.6%,F1分数达到0.906。
目前有一系列针对需求歧义检测的相关研究工作,根据它们所采用的检测机制,主要可分为3类:基于检查表的方法、基于规则的半自动化方法和基于NLP的自动化方法。
基于检查表的方法依靠人类专业知识来识别歧义性,通常使用结构化指南以确保系统分析。Kamsties等人[2]提出了一种基于检查表的方法来识别语言歧义,针对词汇层面、句法层面以及语义层面,通过预设问题对软件需求规格说明(software requirements specification,SRS)文档进行审查。这种方法适用于小规模项目或初步审查,虽系统化但繁琐耗时,依赖审阅者的专业知识,且难以扩展至大规模文档。Kamsties等人[20]提出了一种通过检查发现需求文档中歧义的方法,将基于检查表的审查与场景化阅读相结合。检查表方法采用预定义的歧义标识符,供评审人员系统性地扫描文档。场景化阅读则通过构建用例或测试场景,模拟利益相关者的解读来揭示歧义。虽然这种方法能有效调动领域专家参与并实现特定类型歧义的高检出率,但其劳动强度大、需要深厚领域知识且难以扩展至大规模SRS。此外,由于缺乏自动化处理,该方法容易出现人为错误,并在检测细微语义或语用歧义时存在不一致性。相比之下,LMAdetect通过使用语言模型自动检测,不仅减少了人工投入,还能覆盖更广泛的歧义类型,包括语用和语言错误类歧义。
基于规则的半自动化方法使用预定义的语言规则或词汇表来检测歧义,减少人工工作量,同时保持结构化分析。例如QuARS[21]这类需求规范质量分析器,通过预设规则识别模糊表达模式,这些工具会标记潜在问题供人工审核,可以减轻人工的工作量,适用于初步筛查,QuARS以专门定义的质量模型为基础,该模型包含多个质量指标,通过这些指标,QuARS对自然语言需求文档进行分析,自动标记出存在上述潜在缺陷的句子,为需求工程师提供预警信息,帮助他们识别和修正可能导致歧义的问题。Berry等人[13]对自然语言系统需求规格说明书的歧义问题进行了基础性研究,提出了将非正式需求形式化、寻找歧义模式(如含糊表述“only”)、比对利益相关方的解读以及与作者建立反馈机制等技术手段。他们的研究强调人工验证,并使用NASA的ARM等工具进行模式匹配,但仅限于词汇和句法层面的歧义分析,缺乏语义或语用层面的解析。类似地,Nigam等人[22]开发了一种基于简单规则模式匹配的工具,用于检测词汇、句法和语法歧义,工具旨在辅助需求分析人员,在审查规格时突出歧义。尽管计算效率较高,但由于精度不足,该工具在处理复杂句子时存在局限性,仍需人工验证。Tjong[23]通过分析工业需求语料库提炼指导规则,开发SREE工具,通过词素分析和预设规则识别歧义指标,这个实验性工具用于辅助需求分析师检测自然语言需求规范中潜在的歧义实例。当SREE发现潜在歧义时,会向用户报告该实例,由用户判断是否确实存在歧义,并可根据需要进行消歧处理。SREE本质上是一个词法分析器,仅针对其数据库中特定词汇进行实例检索。Rosadini等人[24]在铁路领域应用基于规则的自然语言处理模式,成功检测出被动语态和模糊表述等缺陷,实现了超过80%的高召回率,但由于误报率过高仍需专家人工审核。这类规则方法虽能有效处理特定类型的歧义,却难以应对语义与语用层面的复杂情况。Gleich等人[25]提出了一种自动检测软件需求文档中歧义的工具,旨在不仅检测歧义,还解释歧义来源,以辅助需求分析师提升文档质量。通过分析不同术语的出现频率,从需求文档中提取特定应用领域的术语,其核心是基于预定义的38种模式,利用TreeTagger和正则表达式高效匹配,通过词法(关键词匹配)和句法(POS结合正则表达式)分析,虽然无法处理复杂的语义或语用歧义,但其轻量设计和高可靠性使其在工业需求分析中具有显著优势。该方法依赖关键词列表,可以针对词汇歧义、句法歧义、语义/范围歧义进行检测,但其泛化能力有限,没法捕捉到全局的语义依赖关系,对语法、语用以及语言错误歧义无法进行检测。
Sabriye等人[26]提出了一种基于NLP的自动检测SRS中句法歧义和语法歧义的方法。该方法的核心是利用POS标注技术,其原理是基于词性标签匹配和规则检查,通过量化歧义百分比和可视化输出支持需求分析。其通过预处理、处理和后处理3个主要阶段,将原始文本转换为可处理的结构化数据,使用POS标注器为每个句子中的单词分配英语词性标签,如名词(NN)、动词(VB)、形容词(JJ)、副词(RB)等,提供句子的语法和结构信息,利用POS标签检测句法歧义和语法歧义,生成可视化结构直观展示检测结果。该方法只能基于局部的词性信息进行分析,无法捕捉到全局的语义依赖关系。所以,不能检测词汇歧义、语义/范围歧义、语用歧义和语言错误歧义,在面对上下文语义关系引起的歧义时,无法准确检测。Ferrari等人[27]旨在识别需求获取过程中不同技术领域利益相关者之间的术语歧义,该方法利用领域特定的语言模型和词嵌入技术量化术语在不同域间的使用差异,并通过歧义评分对潜在歧义进行排序。运用词向量通过跨领域语料库对比术语使用情况,对依赖上下文的术语存在局限,仅检测术语级歧义。Gentile 等人[28]提出的THAT-dictionary统计方法,通过语境模式评分技术检测语义词典中的模糊或伪术语,用于识别语义资源(如字典或词典)中相对于特定语料库的歧义或冗余术语,旨在支持信息提取任务中的字典优化。Šenkýř等人[29]将自然语言处理与领域模型结合,通过Prolog推理框架检测结构歧义和指代歧义,但由于过度依赖特定领域的OCL规则,导致系统扩展性受限。Liu等人[30]运用词嵌入技术检测专业领域中的词汇歧义,但该方法仅关注词汇层面的歧义,忽略了句子整体语境。相比之下,LMAdetect通过将语言模型与启发式规则相结合,实现了对6种歧义类型的全面检测,包括词汇、句法、语义、语用、语法及语言错误。Veizaga等人[31]提出基于Rimay语言的Paska工具,利用NLP技术和Rimay受控自然语言来检测需求异味(包括与歧义相关的质量问题)。以预处理、分割需求为片段,运用Tregex模式[32]、结构模式、规则和词汇表搜索等多种技术,可以检测句法歧义中的协调歧义,无法对词汇歧义、语义/范围歧义、语法歧义、语用歧义、语言错误歧义进行检测。检测协调歧义主要依靠规则来实现。当需求存在2个或更多后续条件,且这些条件由协调连词“or”连接时,Paska工具会触发协调歧义的检测。通过生成解析树来检测协调歧义等,主要依赖预定义的Rimay语法,难以全面地考虑句子在整个语境中的复杂语义依赖关系,无法覆盖领域外歧义(如语用歧义)。
Gleich等人[25]、Sabriye等人[26]和Veizaga等人[31]提出的3种方法,在自动歧义检测领域实现了重大突破,分别运用正则表达式、词性标注和受控自然语言分析等不同技术手段,为该领域发展注入新活力。为更清晰地对比这些方法在不同类型歧义检测中的表现,表1系统梳理了三者的检测范围,重点分析其在词汇、句法、语义/范围、语法、语用及语言错误等维度的识别能力。
尽管这些研究获得了一定成效,但在歧义检测过程中,仍面临着语义语用分析缺失、逻辑关系识别不充分、适用性有限等挑战。本研究将会根据现有技术,进一步分析如何提高需求歧义检测的准确性[33-34]以及类型的可扩展性。
图1是需求歧义检测的过程图,主要包括需求数据采集、数据清洗与特征筛选、歧义检测与分类、专家智能体协作、大语言模型推理、结果融合与评估输出等环节,涉及从输入需求文本到输出检测结果的完整过程。获取原始需求数据以提取关键特征,将原始数据转化为结构化特征,同时准备规则代码和大语言模型提示词,预处理触发初步检测执行,先通过门控筛选歧义需求,若检测出无歧义则输出无歧义,若检测出有歧义则触发分类执行。各歧义专家结合大语言模型协同检测具体歧义类型,整合各专家检测结果,通过证据理论计算综合置信度,解决结果冲突,基于评估指标评估结果,判断是否存在未处理需求、决策是否重检、输出无歧义结果,或歧义类型、置信度及消歧建议。本文提出了一种将大语言模型与多智能体协作及启发式规则相结合的需求歧义检测方法LMAdetect。LMAdetect利用大语言模型的语义理解能力和多智能体的结构化决策来识别和分类自然语言需求中的歧义。该方法主要针对词汇歧义、句法歧义、语法歧义、语义/范围歧义、语用歧义、语言错误歧义等6种类型进行检测。大语言模型的动态语境理解和知识为语义理解和引用/指代识别提供了基础,语用歧义专家和语言错误歧义专家分别通过上下文分析和语言处理工具进行针对性优化,增强了上下文感知能力和逻辑关系识别能力。spaCy和benepar的集成突破了传统规则驱动工具的局限性,进一步支持句法和语义分析,从而能够处理在语境依赖性和语言错误场景中的歧义。图2展示了LMAdetect多智能体协作框架图,LMAdetect中的“L”表示大语言模型(LLM),“MA”表示多智能体(multi-agent),“A”表示歧义(ambiguity)。LMAdetect的操作分为3个阶段:1)基于启发式规则的初步筛选,以提取候选的歧义需求;2)利用结构化提示进行基于大语言模型的歧义分类;3)通过多智能体协作和证据融合,生成稳健的检测结果。
本文采用基于大语言模型与启发式规则结合的方法构建多智能体进行歧义检测。首先,根据需求歧义检测方法的调研结果设计了一些以NLP或结构化规则为基础的启发式规则,并提出了一系列可行的歧义检测方案。其次,结合调研结构,我们可以发现,歧义检测工具通常会利用词性标注识别词汇范畴,通过预定义的结构化规则构建检测逻辑,并借助正则表达式匹配文本中的歧义触发模式。而大语言模型更加擅长阅读和理解自然语言,因此它们有可能在给定的需求中根据规则识别出自然语言的多义部分。LMAdetect会利用大语言模型来分类检测的歧义语句,根据给定的方法,LMAdetect会按照预定义的模板初始化智能体,并通过API调用将生成的提示反馈给大语言模型。大语言模型会将给定的歧义语句进行具体分类,然后我们对大语言模型的结果基于规则进行合并和处理,得出最终结果。最后,针对基于启发式规则和基于大语言模型的一系列需求歧义的检测结果,LMAdetect会根据设计的评估指标对检测结果进行评估。
LMAdetect框架的多智能体协作通过优化后的工作流实现高效检测,如图2所示。与图1的流程框架相比,图2更侧重于技术层面的支撑机制,展示了基于多智能体协作的技术架构。具体而言,图1中的“数据清洗及特征筛选”对应图2中的感知模块,通过输入解析、意图提取、歧义预检测和上下文关联完成对原始需求的特征化表示;图1中的“检测”和“分类”对应图2中的元认知模块,由任务调度、指导、执行监控和策略融合等子模块驱动不同类型的专家智能体完成具体检测;而图1中的“结果融合”和“评估模块”则对应图2中的“评估优化”模块,利用证据融合与性能指标分析输出最终检测结果。图1和图2在逻辑上是一一对应、互为补充的,前者是面向需求歧义检测任务的过程描述,后者是该过程在大语言模型与多智能体协作机制下的技术落地方案。接下来,将依次展开介绍各个环节的具体方法与实现。
任务调度模块初始化工作流,分配GatingAgent进行初步筛选;指导策略模块根据输入动态生成优化指令,指导后续专家选择;执行监控模块跟踪AmbiguousExpert等智能体的执行,记录中间置信度;策略融合模块由FusionAgent整合结果,应用D-S证据理论生成结论;评估优化模块由EvaluatorAgent和RSValidator验证输出并反馈优化策略,形成闭环。图2中的模块与算法2的智能体一一对应,记忆模块分为短期记忆和长期记忆。短期记忆存储当前任务的即时上下文(如输入解析后的意图提取结果和歧义预检测的初步证据),允许智能体在执行监控模块的指导下实时访问和更新,以实现动态调整(如在语用歧义检测中共享跨句逻辑关系);长期记忆则积累历史检测数据和知识(如以往歧义分类的模式),通过任务调度策略提供给策略融合模块,用于优化后续分类的泛化能力。记忆模块存储多智能体协作中关键信息,以避免重要分析过程中遗漏掉这些过程分析,确保分析的正确性和逻辑严密性。
通过对需求歧义检测方法的广泛调研,我们整理出自然语言需求文本中常见的6种歧义类型,分别为词汇歧义、句法歧义、语义/范围歧义、语用歧义、语法歧义和语言错误歧义[1,27]。上述歧义类型反映了多种语言挑战,比如歧义术语、多种句法解释、范围不明确、上下文误解、语法错误和拼写错误等语言歧义场景。为了解决上述挑战,LMAdetect采用了一套启发式规则对需求文本进行预处理并提取潜在的歧义需求,从而生成结构化的特征集,为后续的大语言模型分析提供基础。
在歧义检测的调研中,我们发现有4类情形是基于需求文本进行的,其中提取模糊词汇和提取指代不明语句是根据语言语义进行分析的,提取被动语态结构是根据句法信息进行分析的,提取重复表述是根据文本模式进行分析的。基于这些发现,我们针对这4类情形设计了相应的启发式规则,以实现更加精确和有效的歧义检测。针对4类分析维度,结合NLTK、Benepar、FastCoref和WordNet,生成支持6种歧义类型的特征集F,突破传统方法对单一模式的依赖。通过共指消解和句法分析,LMAdetect在词汇上下文(明确“bank”含义)和句子上下文(解析“it”的指代)上显著优于传统方法,提升了语义理解和引用/指代识别能力。
为了应对更多样的歧义类型,增强歧义检测的正确率,本研究构建启发式规则时,对现有的方法进行了适当的扩展。Gleich等人[25]提出的规则驱动方法主要是聚焦于词汇和句法歧义的检测方面,比如利用正则表达式去完成关键词和部分词性标注的匹配,以此来识别模糊的术语以及句法结构。但是这些规则局限于静态模式匹配情形,未充分考虑语义依赖性以及上下文复杂性。Sabriye等人[26]提出的POS标记方法尽管可借助词性标签检测语法和句法歧义,但只是局限于局部特征范畴,忽略了全局语义和语用相关的线索信息。LMAdetect在上述基础之上增添了规则和知识。以原有的词汇匹配为基础,新增了对量化词(如“all”“some”)的语义范围分析规则,并结合上下文长度和修饰语进行一致性判断。当检测到包含量化词但无明确边界定义且句子少于30词时,触发歧义检测规则,确保了语义的独立性。该阈值30基于对实验数据集的统计分析和经验总结选取。在1192条需求数据中,需求语句的词数平均约为25(通过对数据集的词频统计得出),选择30作为阈值可有效避免过长上下文干扰语义独立性,同时覆盖大多数潜在歧义场景。该选取参考了需求工程实践中对语句简洁性的要求(如Gleich等人[25]中对需求语句结构的观察),确保规则的实用性和泛化能力。针对Sabriye等人[26]提出方法的不足,本文引入了基于共指消解、结合上下文关联的规则,能检测如“notify users”因没有上下文引发的歧义。检测条件是代词或指示词(如“this”“that”)前后未形成明确的语义连接,且使用部分引用实体出现次数少于2的语言情况,以此来捕捉上下文的依赖关系。此外,本文扩展了传统规则的语法检查,增加了自动识别拼写错误以及语法不一致的功能,采用WordNet进行词典查询以及语法树解析,若需求语句中的错误词孤立存在,且没有修正上下文的条件时进行检测。而且,本文新引入了基于文本相似度阈值大于0.8的优先级排序机制,把高频重复的表述暂定为潜在歧义,采用优先级排序机制优化检测的优先级。上述对现有方法进行的扩展融入了语义角色标注、共指消解等NLP技术,并借助大语言模型理解上下文的能力[35],填补传统规则所受的限制。与原有的静态规则相比较,LMAdetect的扩充规则不仅覆盖了6种歧义类型,还凭借动态特征分析(如句子长度、上下文关联)增强了泛化性能。
针对每种歧义类型的启发式规则被设计用于识别特定的语言模式,并在表2中总结了这些规则及其定义、检测条件和示例。
针对模糊词汇的提取,LMAdetect将枚举需求语句中的常见模糊词(如“fast”“clear”“possible”),对于每一个模糊词,判断其是否满足以下条件,若满足,则将其加入候选项。
1)模糊词所在的需求示例长度不超过30词。
2)模糊词后的语句中未明确定义其语义(如无词汇表支持)。
3)模糊词所在的句子最多包含1个主谓结构,且无歧义修饰语。
上述条件中,第1个要求对需求示例长度的大小范围加以限定,防止过长上下文引发的干扰,后2个条件是从语义独立性的角度考虑的,确保模糊词不因上下文澄清而失效。在检测过程中,要特别留意那些即使提供了上下文信息加以澄清,但系统或工具还是不能正确识别或处理这些模糊词的情形。这种情况可能会造成需求理解出现偏差,故而在设计与实现阶段需考虑并进行解决。
针对指代不明语句的提取,LMAdetect将枚举需求语句中的代词(如“it”“they”)和指示词(如“this”“that”),并根据其指代部分(前文定义)和使用部分(后文引用)划分成2部分,对于每一个部分,判断是否满足以下条件,若满足,则将其加入候选项:
1)指代部分和使用部分之间无明确语义连接。
2)该部分的词数不超过需求示例总词数的70%。
3)对于指代部分,该部分后的语句中未使用相关实体,且无歧义解。
4)对于使用部分,该部分引用的实体在后续语句中出现次数不超过1,且最多在句末有单一解释。
以上4个条件中,第1个条件是基本要求,确保指代关系独立,第3个条件针对指代部分,旨在避免后续干扰;第4个条件针对使用部分,旨在限制其语义依赖。
针对被动语态结构的提取,则直接根据句法模式,找到包含被动语态的句子结构(例如“be + VBN”),按照判断语句是否可被标记为歧义的3个条件进行判断,若满足,则加入候选项:
1)句子包含被动语态动词(如“is processed”);
2)主语或施动者未被明确指定;
3)句子词数不超过40。
针对重复表述的提取,首先我们使用文本相似性对需求语句进行1轮比较,标注每个语句的重复模式,随后在相似度超过阈值0.8的语句之间进行分析,若2个语句仅在具体实体(如“user”vs.“customer”)上不一致且可形成映射关系,则视为重复表述。针对重复表述,按照判断语句是否可标记为歧义的3个条件进行判断,若满足,则加入候选项。
对于每一个候选项,我们尝试将对应语句标记为语言歧义,若标记无冲突,则将其作为候选项。若多个候选项重复标记某一句子,则认为它们是相同的,这将在后续优先级排序中多次计入推荐次数。
算法1. 自然语言需求预处理。
输入: NL requirement (r);
输出: feature set (F)。
① $ S EG\leftarrow {S EPARAT ES EGMENTS}\left(r\right) $;
② $ F\leftarrow \varnothing $;
③ for each $ seg\in S EG $ do
④  $ W\leftarrow {TOKENIZE}\left(seg\right) $;
⑤  $ T \leftarrow {POS\_TAGGING} \left(W\right) $;/*HMM-based*/
⑥  $ P\leftarrow {PARS E\_T REE}\left(seg\right) $;
⑦  $ CR\leftarrow {COREFERENCE\_RES OLUTION}\left(seg\right) $;
⑧  $ GE\leftarrow {GRAMMAR\_ERROR\_CHECK}\left(seg\right) $;
⑨  $ F\leftarrow F\cup \{W,T,P,CR,GE, {has\_period}(seg) $, $ {is\_passive}(seg)\} $;
⑩ end for
⑪ return $ F $。
算法1概述了自然语言需求的预处理流程,目标为生成用于歧义检测的特征集F。预处理阶段把原始需求文本转换成结构化特征集(F),以支持启发式规则的应用。此流程涉及分段、分词、词性标注、句法分析、共指消解以及语法检查等步骤。
1)分词:将文本拆分为单词和短语。
2)词性标注:使用如NLTK这样的工具,为词语分配语法标签(例如名词、动词)。
3)句法分析:利用如Benepar这样的解析器生成句法树,以识别结构上的歧义。
4)共指消解:通过FastCoref等工具识别代词引用,解决指称歧义问题。
5)词典查询:通过WordNet等资源检查单词的有效性和多义性,以解决词汇和语言错误的歧义。
6)上下文分析:评估句子长度和修饰语的一致性,以识别语义/范围和语用歧义。
这种预处理确保了输入需求被转换成结构化的表示,从而能够对候选的歧义需求进行基于规则的有效过滤。
大语言模型擅长阅读和理解自然语言,通过大语言模型的深层语义理解,捕捉词汇上下文和句子上下文,增强语义理解和逻辑关系识别能力。它们更有可能识别出具有内聚性的语言片段,这种内聚性语言片段可能包含相对独立的歧义模式,在需求检测时它们更有可能被分配到同一个歧义类别中。因此,我们可以利用这种内聚性语言片段进行语言歧义检测。基于这一假设和针对语言歧义检测的调研,我们使用大语言模型将给定的需求示例分解为一组小的内聚性语言片段。而大语言模型的性能受提示的影响很大。为此,我们借鉴Liu等人[36]的工作进行了提示工程。设计了一个由多维度组成的提示模板,如表3所示。
规范化提示词模板即〈Agent Role and Method〉+〈Ambiguity Types List〉+〈Detection Process〉+〈Output Format〉+〈Example Outputs〉由智能体角色和方法、歧义类型、检测过程、输出规范、示例输出这5个部分组成。
我们在提示中明确指定了一些约束条件来引导大语言模型进行检测。首先,在提示词中,我们会明确任务,分别让大语言模型直接进行语言歧义检测、基于词汇进行歧义检测、基于短语进行歧义检测。后两者是根据前期调研发现的和语义相关的最常见的2种语言歧义类型,我们将单独引导大语言模型针对这2类检测进行考虑。其次,我们告诉大语言模型具体的检测流程,因为大语言模型可能会随意执行除歧义检测之外的其他处理,这种意外处理应该避免。接着,明确规定输出格式,以减少小片段或无效片段带来的干扰。最后,要求按照示例进行标准输出,因为我们在后续的处理中,将依赖大语言模型生成的结果来合并这些有内聚性的歧义,即识别出相关的歧义,并将其进行整合处理,以确保在特定上下文下的准确理解。这一过程需要结合语法、语义和上下文信息。
根据表3所示,提示词引导大语言模型专注于歧义检测,并减少无关的处理过程,确保输出达到标准化。借助算法1来处理特征集F,每个需求将被划分到明确定义的歧义类型中,或者判定为无歧义。为了弥补语义理解以及引用/指代识别方面的欠缺,提示工程引导模型对句子间的逻辑关系和指代对象进行分析。
智能体能够感知环境、自主决策并执行动作以实现目标,通常包含感知模块、决策模块、执行模块、记忆模块。大语言模型为智能体提供语言交互与推理能力,智能体通过大语言模型解析用户指令,将自然语言解析为结构化意图,设计结构化提示词,引导大语言模型按特定逻辑推理。大语言模型是智能体实现“认知智能”的核心组件,为其提供语言理解、知识推理能力;而智能体框架则是大语言模型落地现实场景的“桥梁”,赋予其感知环境、执行动作的能力。二者的结合通过“规划—执行—反馈”的闭环设计,推动任务从“被动应答”向“主动解决问题”进化。
LMAdetect框架借助多智能体协作方法整合大语言模型所得结果,进而强化歧义检测能力。这一过程首先针对各类歧义进行结构优化,如图3所示,凭借启发式规则与大语言模型结合的方法,分别对词汇、句法、语义/范围、语用、语法及语言错误等类型的歧义检测进行分析和优化。初步的分类结果根据各类型的语言特征生成。
为了增强检测的鲁棒性,LMAdetect采用了多智能体框架——类型专业化多智能体协作模型。该模型将不同类型的歧义性分配给专门的智能体,并通过Dempster-Shafer(D-S)证据理论整合这些智能体的输出结果。
如图4所示,这种基于混合专家带路由的模式,不仅可以实现单一任务的精准检测,还提供了类型协同优化的创新点。在此基础上形成了一个完整的框架。对第1层门控智能体进行判断是否存在歧义,存在歧义的需求传入有歧义专家这个智能体中。对第2层门控进行判断具体歧义类型,通过路由将需求分配到具体歧义类型专家进行针对性检测,每个任务是一个小专家,整个模式是一个基于混合专家带路由的形式。由于歧义检测类型的多样性,涉及多个维度(语义逻辑、上下文等)。单一模型处理所有歧义会导致注意力分散、误分类增多、准确性降低。因此我们采用这种智能体分步来实现歧义类型的检测,每种歧义类型需要不同推理深度,例如语义/范围歧义需要逻辑推理而语用歧义需要上下文假设。在大量数据场景下,分布设计通过任务分解降低单次推理复杂度,确保效率和稳定性。在实验过程中,第1层门控智能体处理时间约4 s,第2层门控智能体的处理时间约25 s,各歧义专家的处理时间总共约1 min,基于第1层门控快速筛选可能存在歧义的语句,再将第2层门控以及路由分配给多专家智能体进行精准分析,这种方法通过初步筛选节省计算资源,同时通过专业化提升检测的准确性。
类型专业化多智能体协作框架的核心是按歧义类型给智能体精准分工。让智能体的分工更精准专业,让每个智能体当领域专家。通过多智能体分工和内存模块,动态解析句子间的逻辑关系和指代对象,通过专业智能体和大语言模型推理,增强逻辑关系识别和引用/指代识别,通过层次化协作和上下文记忆,提升检测灵活性和覆盖面。
设计增加类型专家多智能体模型的需求歧义检测工作,目的是借助大语言模型的推理能力和结构化的多智能体协作机制来提升歧义检测效果。如图5所示,类型专家多智能体协作模型将智能体组织成一个层次结构,从门控智能体开始,该智能体根据词汇多义性或句法复杂性等句子特征分配检测任务。接下来是专家智能体,词汇专家的工作是检测词汇歧义,句法专家的工作是分析结构方面的歧义,语义专家的工作是识别范围存在的不一致,每个智能体处理来自大语言模型规则优化阶段(如图4所示)的初步结果。融合智能体随后整合这些输出,生成一个连贯的歧义判别结果。
算法2对智能体的协作过程进行了形式化的说明。借助GatingAgent对输入的需求进行筛选,来判断是否存在歧义。AmbiguousExpert验证潜在的歧义类型。诸如词汇专家、句法专家等特定类型的智能体采用加权投票开展置信度评分,并且运用Tregex模式匹配和WordNet查询,分别进行句法模式分析以及词汇验证分析。FusionAgent把上述分析结果进行汇总整合,分配置信度分数并处理冲突,进而判定歧义类型和检测置信度。此算法借助内存模块的上下文存储提升智能体之间的协作,保障高效且准确地检测6种歧义类型。
算法2. 检测需求歧义。
输入:NL requirement (r), feature set (F), Agents {GatingAgent, AmbiguousExpert, Experts, FusionAgent};
输出:detected ambiguity result (D)。
① $ M\leftarrow \{\text{content}\colon r,\text{POS\_analysis}\colon F \} $;
② $D \leftarrow \varnothing $;
③ /*Step 1: GatingAgent Initial Screening*/
④ $O\_ gating\leftarrow {RUN\_GATINGAGENT}\left(M\right) $;
⑤ $ (detected\_ g,type\_ g,conf\_ g,\exp l\_ g)\leftarrow {PARS E\_}$${OUTPUT}(O\_ gating) $;
⑥ if not $detected\_ gandconf\_ g\geq 0.9 $ then
⑦  $D\leftarrow $ (False, “None”, $ conf\_ g $, $ \exp l\_ g $);
⑧ return D;
⑨ end if
⑩ /*Step 2: AmbiguousExpert Verification*/
⑪ $ O\_ ambiguous\leftarrow {RUN\_AMBIGUOUS EXPERT} $$\left(M\right) $;
⑫$ (detected\_ a,types\_ a,\exp l\_ a)\leftarrow {PARS E\_} $${{OUTPUT}} (O\_ ambiguous ) $;
⑬$ T\_ top2\leftarrow {S ELECT\_TOP2\_TYPES} (types\_ a ) $;
⑭ if $ detected\_ aandT\_ top2\neq \varnothing $ then
⑮  $ E\_ selected\leftarrow \{\text{Experts matching T\_top2} \} $;
⑯ else
⑰  $ E\_ selected\leftarrow \text{all Experts} $;
⑱ end if
⑲ /*Step 3: Expert Analysis*/
⑳ for $ each\;E\_ i\in E\_ selected $ do
㉑  $ O\_ i\leftarrow \textit{RUN\_EXPERT} ( {E}\_ i,M ) $;
㉒  $ (detected\_ i,type\_ i,conf\_ i,\exp l\_ i)\leftarrow {PARS E\_}$${OUTPUT}\left(O\_ i\right) $;
㉓  $ D\leftarrow D\cup \{ (detected\_ i,type\_ i,conf\_ i,\exp l\_ i ) \} $;
㉔ end for
㉕ /*Step 4: FusionAgent Integration*/
㉖ $ I\_ fusion\leftarrow \{\text{GatingAgent:}(detected\_ g,type\_ g, $$conf\_ g,\exp l\_ g ) $,$ \mathrm{AmbiguousExpert}\colon (detected\_ $ $a,types\_ a,\exp l\_ a ) $,$ \text{Experts:}D\} $;
㉗ $ O\_fusion \leftarrow {RUN\_FUS IONAGENT} (I\_fusion ) $;
㉘ $ (detected\_ f,type\_ f,conf\_ f,\exp l\_ f)\leftarrow {PARS E\_}$${OUTPUT} (O\_ fusion ) $;
㉙ $ D\leftarrow (detected\_ f,type\_ f,conf\_ f,\exp l\_ f ) $;
㉚ return $ D $。
此模型利用大语言模型强大的语义推理能力,凭借记忆模块存储短期和长期上下文信息,增进各智能体之间的协作效率。记忆模块作为多智能体框架的核心组件,通过存储共享上下文以支持跨智能体协作,即使在智能体间无需频繁实时交互的场景中也能发挥作用。具体使用方式包括:1)初始化阶段,通过感知模块捕获输入需求上下文,并存储到短期记忆中,用于实时任务调整;2)执行过程中,智能体通过API调用访问共享数据,如语用歧义专家检索前期句法分析结果;3)融合阶段,长期记忆提供历史知识给策略融合模块以优化分类。在实际场景中,例如处理大型需求文档时,记忆模块存储跨句引用关系,允许异步智能体(如语义专家和语用专家)独立工作,而非实时同步,从而避免交互开销。该设计参考多智能体系统中的异步内存机制[37-39],澄清了其在非实时交互环境中的实用性,避免潜在误解。模型包含以下关键的智能体部分,GatingAgent负责任务分配,以词汇多义性和句法复杂性等语句特征为依据,将检测任务分配给专业智能体。LexicalExpert的职责是检测词汇歧义,查询多义词词典并结合上下文嵌入,从而判断词汇的多义性。SyntacticExpert负责开展句法歧义的分析工作,采用基于句法树解析的方式识别模糊的句式结构。SemanticExpert着重处理语义和范围歧义,结合语义角色标注对语句的不一致性进行检测,确保可以精准检测每一种歧义类型。如算法2所示,协作逻辑利用加权投票、Tregex模式匹配和WordNet查询对置信度分数进行分配,为后续的融合过程奠定了基础。
为了进一步阐述多智能体协作的详细流程,我们设计了算法2。该算法概述了从初步筛选到结果整合的歧义检测过程。首先,通过GatingAgent进行初始筛选,若置信度大于等于0.9且无歧义,则直接返回结果,以优化计算效率。随后,AmbiguousExpert验证歧义并输出类型列表types_a。关键步骤在于函数从types_a(歧义类型与置信度的字典列表)中按置信度降序排序,选取排名前2的类型后续分配给对应的专业专家智能体。这一选择的依据在于体现多智能体协作中的“专家优先”效应。通过聚焦置信度最高的歧义类型,避免激活所有专家,减少不必要计算和潜在幻觉干扰,同时提升针对性和鲁棒性。如果types_a为空或置信度不足,则回退到激活所有专家,确保全面覆盖。最终,FusionAgent通过D-S证据理论整合结果,生成稳定的检测输出。算法2与TS-MAC模型相结合,确保了歧义检测的层次化和高效性。
算法2描述通过多智能体协作检测需求语句中的歧义类型和置信度。通过多智能体协作检测语句中的歧义,包括GatingAgent筛选、AmbiguousExpert验证、专业智能体分析和FusionAgent整合。使用加权投票、Tregex模式匹配、WordNet字典查询,最终生成初步的歧义检测结果,包括类型和置信度。
为解决多智能体检测结果的冲突问题,本文方法采用D-S证据理论进行结果融合。D-S理论通过基本概率分配(basic probability assignment,BPA)函数为各智能体的输出分配置信度,并利用组合规则整合结果。生成最终的歧义类型判断如图6所示。FusionAgent根据各智能体检测结果的置信度生成综合判断,输出融合的结果。如果冲突程度超过设定的阈值,系统将触发验证智能体进一步验证检测结果。
通过结合D-S证据理论的应用,使检测结果得到了进一步的保障,能够有效提升检测的准确度,显著提高了检测结果的鲁棒性和一致性。
本节从不同维度对LMAdetect进行实验评估。首先针对LMAdetect在第1节提出的挑战与问题,给出关于该歧义检测方法的4个研究问题。随后通过评估歧义检测方法的不同方面来解答这4个研究问题。为评估LMAdetect的检测效果,我们开展了实验进行评估。最后基于评估结果分析了LMAdetect的优势与局限性。
为了评估LMAdetect是否有效解决了上述挑战,本节提出以下4个研究问题:
问题1:数据集的单句需求样本是否在语义、场景和逻辑上完全独立?为评估数据集的上下文独立性,我们提出研究问题1,验证每种歧义类型上实验数据集是否具有独立性,通过梳理论文中对数据集的描述以及基于大语言模型对数据集进行关联性分析,证明其数据集的上下文独立性。
问题2:LMAdetect在检测单个类型的需求歧义性能方面是否优于现有的需求歧义检测方法?为对比评估其单独歧义类型检测上的有效性,我们提出研究问题2,验证LMAdetect在每种歧义类型上的检测性能是否优于基线方法,通过准确率、召回率、精确率、F1分数指标计算证明其在单独类型检测上的有效性。
问题3:LMAdetect在检测语用歧义和语言错误歧义上的检测效果如何?为了评估现有方法无法检测的2种歧义类型(语用歧义和语言错误歧义)的检测性能,我们提出了研究问题3。验证LMAdetect通过大语言模型和多智能体协作,在语义理解、逻辑关系识别和引用/指代识别方面的改进,证明其上下文感知能力的优越性。
问题4:在多类歧义检测任务中,不同模型对结果的影响如何?为评估在综合检测多种歧义类型时选择不同模型对LMAdetect性能的影响,我们提出了研究问题4。验证不同模型在处理歧义检测问题上的效果,重点关注通用模型与推理模型的表现差异,通过对比分析各模型在准确率、召回率、精确率和F1分数等指标上的结果,全面评估其在多样化歧义类型任务中的适用性。
在本文中,我们将采用4个经典的指标来评估LMAdetect的性能,包括准确率[40-41]、召回率、精确率[42]、F1分数[43]。这些指标在歧义检测相关研究中广泛使用。这些性能指标的计算基于标准统计概念,如真阳性(true positive,TP)、假阳性(false positive,FP)、真阴性(true negative,TN)、假阴性(false negative,FN)。我们分别比较每种歧义类型检测的准确率、召回率、精确率、F1分数。
1)准确率。模型正确分类的样本数占总样本数的比例。准确率衡量的是模型整体分类的正确比例。
2)召回率。模型正确检测为正例的样本数占所有实际正例样本数的比例。召回率衡量的是模型识别出所有需求歧义的能力。
3)精确率。模型正确检测为正例的样本数占所有被模型检测为正例的样本数的比例。这个指标反应了模型在所有判定为歧义的需求中,准确识别出需求歧义的能力。
4)F1分数。精确率和召回率的调和平均数,用于综合评估模型的性能。当模型在精确率和召回率方面都表现良好时,F1分数也会较高。
我们将所提方法LMAdetect与Gleich等人[25]的工作、POS标记[26]、和Paska[31]进行比较,这3种方法代表了通过传统规则和句法分析进行歧义检测。
第1种方法是基于NLP技术的自动化歧义检测与解释方案,第2种方法是使用词性标注技术检测SRS中语法和句法歧义的方案,第3种方法是针对自然语言需求文档的自动化歧义检测与改进推荐方案。
Gleich等人[25]的工作结合了正则表达式和部分词性标注技术,是一种基于词法和轻量级句法分析的歧义检测工具,检测包括词汇、句法、语义在内的多种歧义类型。相比较而言,LMAdetect利用大模型的深层语义理解,捕捉量词作用域和逻辑连接词,突破了POS标注静态规则的局限。反馈和模型重试机制增强了动态上下文感知能力,而检测和评估的多智能体协作通过误分类分析强化逻辑关系识别,形成了闭环优化框架,结合6种歧义类型分类和多样化数据处理,提升了召回率、精确率和F1分数,超越传统方法依赖人工规则和POS标注、缺乏深层语义理解的局限性。
POS标记[26]方法聚焦于对SRS文档中语法和句法歧义的检测工作,通过预处理、处理以及后处理3个组件开展歧义检测工作。与POS标记方法相比,LMAdetect可以更精准地识别SRS中的语法与句法歧义,解决了静态标签序列语义缺失的局限问题。引入大语言模型驱动的动态语义理解模块,通过评判被动语态以及施动者的合理性,以“结构 + 语义 + 语境”的多维检测框架全面优化检测过程,进而捕捉需求是否存在歧义情况。检测过程融合POS标记与语境推理、评估校验的一致性来进行,形成多智能体协同的闭环反馈机制。该机制增强了语义理解以及逻辑关系的识别能力,并结合了6种歧义类型和工具(如Benepar句法树、FastCoref指代消解)协同检测,进而可实现对非典型结构的覆盖,减少检测结果误判的情况,克服了POS标记因语境范围受限、语义内容不足导致的漏检与误判问题,实现了检测结果的召回率、精确率和F1分数的提升。
Paska[31]是一个自动化工具,其结合了多种NLP技术。通过分析需求的整体句法结构,匹配并推荐合适的Rimay模式来帮助分析师重写需求。与Paska相比,LMAdetect将静态Tregex规则集合大模型驱动的语义理解模块,主动捕捉介词短语附着的多义性等句法歧义结构,突破了Paska依赖单句结构匹配的局限。此方法形成了“语义解析—结构校验—语境补全”的闭环机制,通过结合6种歧义类型分类体系,从而实现对复杂句法结构的自适应检测。相比Paska的预定义规则,这种动态协同推理提升了约8个百分点~14个百分点的准确率、召回率和F1分数,增强了泛化能力,体现了在歧义和领域泛化上的优势。
在评价过程中,我们采用同一数据集,计算上述指标,将LMAdetect和基准方法的检测结果进行比较。此外,我们还对LMAdetect在不同歧义类型下的表现进行了分析,以全面比较其有效性与适用性。
我们从Google Scholar、IEEE Xplore、ACM Digital Library等学术数据库检索到与特定主题相关联的文献,选取12篇相关文献作为分析对象。通过查找这些论文,我们获取了部分数据。此外,我们从相关论文的GitHub仓库收集到一些额外的数据资料。这些文献为我们的研究提供了宝贵的研究资料和已经验证的数据,为研究奠定了坚实的基础,是理论研究依据的关键要素,也是重要的数据来源之一。
首先,我们使用关键词(如“需求歧义检测”“需求歧义修复”“大语言模型”等)在多个学术数据库中进行初步检索,以识别与需求歧义相关的研究领域。初始检索结果约70篇论文,采用以下标准对文献进行筛选。1)相关性:论文必须聚焦于需求歧义检测或需求工程中的NLP,优先选择包含真实需求示例的论文;2)质量:选择发表在高影响力期刊或会议上,或引用次数较多的论文(基于Google Scholar统计);3)多样性:确保覆盖多种歧义类型(如词汇、句法、语义等),以提升数据集的泛化能力。首先,按照标题和摘要进行组略筛选,然后按照以上标准,确定文章研究问题的相关性,根据论文研究对象、歧义类别的数量等信息确保相关论文符合标准,排除与需求歧义检测或NLP无关的论文,通过阅读全文进一步验证论文的相关性,最终选定12篇高质量论文[1,13,20,22-23,25-26,44-48]。重点收集其中涉及实验数据和研究见解的部分,收集过程包括手动提取需求语句、标注歧义类型。我们从这些论文中提取与需求歧义检测相关的具体信息,包括常见的需求歧义类型及其在需求文档中的分布情况。为了获取所需的数据,我们凭借论文所给的URL链接访问目标数据库进行数据下载。最后,我们针对收集到的数据进行详细整理与归类,记录每种歧义类型在需求文档中的具体表现及其影响因素,为后续的深入研究和分析提供关键信息支持。
为确保数据集的标注一致性和可重复性,我们参考Berry等人[1]的工作制定了标注准则,如表4所示。检查单词是否在上下文中允许多种解释,且这些解释源于词典含义而非句子结构,如果歧义可以通过词典或词源区分,则标注为词汇歧义;句法歧义源于语法结构而非单词含义或语义逻辑,如果通过重新解析树可得出不同含义,则标注为句法歧义;语义歧义源于逻辑形式而非语法,在没有词汇和结构歧义的情况下,如果句子语法唯一但逻辑解读多,则标注为语义歧义;句子在特定语境中出现多种含义,则标注为语用歧义;语法歧义源于句子语法形式缺陷,而非语境、词汇含义或逻辑关系;语言错误歧义源于语言错误而非故意,如果纠正错误可消除歧义,则标注为语言错误歧义。
我们在已获取的数据集上进行实验,在这些数据集中,有歧义的需求数据集占比73.15%。表5给出了数据集所对应的信息。
我们使用收集整理的1192条需求例子作为实验数据集,并执行需求歧义检测工作。所有实验均在配备英特尔酷睿i9处理器和16 GB内存的Windows11机器上进行。为了展示大语言模型的强大性能,我们在实验中的大语言模型部分使用了deepseek-v3-0324模型。对于每一种需求歧义类型的检测,我们对应一个歧义类型的检测专家。针对每一类歧义类型专家,我们分别采用启发式方法和大语言模型分别进行检测。最终根据对应专家的检测结果以及置信度值进行汇总得出最终结果。
在本实验中,使用agentscope框架构建智能体,结合大语言模型和规则进行歧义检测主要通过模型封装模块中的检测功能实现,这一过程整合了大语言模型的自然语言理解能力与预定义的规则逻辑。针对每类歧义类型的检测优化,通过调用deepseek-v3-0324模型结合对应检测歧义类型的规则进行针对性检测。在每类歧义类型优化结束后,通过路由分配给对应歧义类型专家进行整合检测,形成多模型多任务检测多种歧义类型。在调用大语言模型的过程中,根据相关工作[49]的经验,温度(temperature)在大语言模型中被用来控制生成文本的随机性。值越小,输出内容越倾向于确定性和稳定;而值越高,大语言模型在处理复杂任务或需要创造性的情况下表现更佳。在综合考虑这2种作用之后,我们选择了一个平衡点temperature为0.5来调用deepseek-v3-0324模型。
为确保结果的稳定性和准确性,我们进行了多次运行实验,对每个歧义类型的数据子集进行了3次独立运行,使用相同数据计算指标结果的平均值和标准差。为验证参数引入的随机性,我们额外设置temperature为0(完全确定性模式)进行对比实验。如表6所示,temperature为0.5的F1分数整体略高于temperature为0的F1分数,平均F1分数提升0.2个百分点到0.5个百分点。这表明在需求歧义检测任务中,轻微随机性有助于探索更多边缘案例,提升综合性能,但temperature为0的稳定性更好。temperature为0.5的随机性在语用歧义中可能导致结果不一致,适合需要创造性理解的场景。在句法歧义和语法歧义等结构化类型上,2个temperature下的指标相似(差异小于 0.5个百分点),这些类型依赖规则匹配和词性标注,随机性影响小且模型底层表示稳定。而在语用歧义和语义歧义等上下文依赖类型上,temperature为0.5的召回率和F1分数更高(提升1个百分点到3个百分点),随机性有助于捕捉隐含关系;temperature为0的精确率偶尔更高,但召回率较低(因缺少探索遗漏实例)。总体上,准确率和精确率在2个temperature下最稳定(差异小于1个百分点),反映模型的核心分类能力强,受随机性影响小;召回率和F1分数对temperature更敏感,在temperature为0.5下更高,因为随机性提升覆盖能力;F1分数作为平衡指标,体现整体优势,temperature为0.5时在语境类型上更突出。词汇、句法、语法这些结构化类型歧义依赖规则,性能相似(F1>92个百分点)且差异小;语义、语用、语言错误这些语境类型歧义,因随机性有助于语义推理,在temperature为0.5下更好(F1分数提升0.5个百分点到2个百分点)。总体,模型对结构化歧义鲁棒性强,对语境歧义temperature为0.5时优化更好。但稳定性考虑,temperature为0时更适合生产环境。
对于不同temperature结果相似问题,在句法歧义的F1分数上,2个temperature平均为0.9357,因为句法歧义主要靠POS标注和规则,模型的确定性推理足够,随机性不改变核心语法结构识别。对于不同temperature下的结果差异,在语用歧义的召回率上,temperature为0的平均F1分数0.7595略高于temperature为0.5时的F1分数(0.7537),源于语用歧义依赖上下文指代,temperature为0时的确定性确保一致捕捉逻辑关系,避免随机遗漏;temperature为0.5时的随机性可能在多次运行中忽略边缘上下文,导致轻微召回率下降(temperature为0.5时标准差更高)。语言错误歧义的F1分数在temperature为0.5下更高,因语言错误需识别异常,temperature为0.5时的随机性帮助捕捉更多变异案例,提升召回率;temperature为0时更精确但覆盖稍低。词汇歧义的精确率在2个temperature下几乎相同, 因为词汇歧义基于词表匹配,模型词嵌入稳定,不受温度影响。整体F1分数在语义歧义上差异较大,源于语义歧义涉及逻辑范围,temperature为0.5时的随机性有助于多义解释,减少偏差;temperature为0时确定但可能遗漏复杂场景。总体得出,相似性源于规则主导部分,差异性源于语境依赖部分,temperature为0.5时提升探索但牺牲部分稳定性。对于temperature的变化如何影响LMAdetect在不同歧义类型上的整体性能稳定性,通过多次实验,temperature为0时提供更高稳定性,标准差平均降低1%,因为确定性避免波动;temperature为0.5时引入不稳定性,但对词汇、句法歧义影响小(小于 0.5%),适合探索任务。多次运行显示,temperature为0.5时,随机性影响有限,稳定性可以通过多次实验得到保障。
问题1: 数据集的单句需求样本是否在语义、场景和逻辑上完全独立?
为了回答该问题,一方面,我们收集12篇论文中对数据集进行独立性判断,判断数据集是否存在关联,分析结果见表7。另一方面,我们将通过余弦相似度计算、隐含狄利克雷分配(LDA)主题建模、正则表达式结构分析来验证数据集的关联性特征,实验结果见图7。
通过梳理论文中对数据集的描述,绝大多数论文[1,13,20,22,25-26,44-45,47-48]所使用的数据集本质上是分散的、独立的文本案例或需求语句集合,这些材料来自不同来源、不同领域、不用项目、案例/语句之间没有业务逻辑关联、没有上下文依赖关系、没有共享术语或系统背景,纯粹是为了佐证歧义现象、覆盖多样场景或验证工具泛化性而被整合到一起。仅有其少数论文[23,46]的数据来源相对明确且经过筛选验证,但同样强调领域多样性和样本间的非关联性,以确保研究结论的普适性。数据采集场景独立,所有样本均来源于分散的单一需求场景(如独立的用户查询、单句任务指令、孤立的文本诉求等),未涉及连续篇章或关联任务的串联采集。样本筛选标准明确,收集过程中以单句完整性为核心原则。数据生成无关联约束,样本之间未设置逻辑关联、场景关联或时序关联的采集规则,每个样本的选取均不依赖其他样本的内容或属性,仅因研究需要被放在一起用作歧义示例或测试样本。
如图7所示,通过余弦相似度计算、LDA主题建模、正则表达式结构分析,根据大语言模型进行数据关联性分析得出的结果,从LDA主题分布来看,数据集被分为4个主题,各主题的文本数量分布相对均衡,这表明数据集有一定的主题多样性,但LDA模型主要捕捉文档级的主题概率分布,如果存在篇章级关联或跨句依赖,LDA可能会检测到更强的主题凝聚或子主题结构,但这里主题分布较为均衡且独立,暗示需求语句更多是孤立的而不是形成连贯的篇章叙事,文本的语义方向是分散的,没有围绕“单一/集中的业务场景”展开,并没有同一场景下的跨句依赖关系;从Top15关键词词频来看,高频词都是一些通用功能词,并没有特定业务场景的核心词,从而看出数据集都是零散的独立语句,并不存在“同一业务/用户故事下的关联文本”;从文本相似度分布来看,文本对的余弦相似度几乎全部集中在0.2以下,且强关联阈值(余弦相似度为0.6)右侧的文本对数量趋近于0,表明数据集中的文本之间内容重叠度极低,不存在“同一需求/业务场景下的关联语句”;从主题归属概率来看,各主题的归属概率较为接近,且误差棒(黑色竖线)较长,说明文本的语义归属并不聚焦,没有形成“同一业务场景下的语义聚类”,也就不存在跨句的语义依赖。
综上,本研究所使用的数据集以单条需求语句为最小分析单元,数据来自公开的需求歧义检测研究与相关论文中的需求实例。这些数据在原始构建阶段通常已经过句级切分与标注,即每条需求语句均可独立表示完整意义,其上下文关系被有意剔除或未被保留。因此,该数据集并不包含不同需求语句之间的篇章级关联信息,也不涉及同一业务场景或用户故事下的跨句语义依赖。本文的研究范围与数据特性保持一致,集中于句内或局部上下文层面的歧义检测,而不涉及跨句或跨段落的语义一致性问题。从数据标注角度来看,样本均被标注为6种语言歧义之一,标注者依据单句语义特征进行判定。因此,本文的方法设计与实验均以单句粒度为假设前提,符合数据集构成特点。若需求文本中存在多句间的引用或逻辑依赖(如用户故事或业务操作链),则这些情形不能在现有数据集中体现。
问题2: LMAdetect在检测单个类型的需求歧义性能方面是否优于现有的需求歧义检测方法?
为了验证这个问题的结果,我们将LMAdetect与基于正则表达式和POS标注方法结合的Gleich等人[25]的工作、基于传统方法实现的原型工具[26]和基于NLP技术和规则结合的Paska方法[31]进行了对比实验,并将分别仅使用规则和大语言模型在数据集上对需求进行歧义检测,计算了对应检测歧义类型的准确率、召回率、精确率、F1分数,鉴于现有方法无法对语用歧义和语言错误歧义进行检测,所以此实验针对词汇歧义、语义/范围歧义、语法歧义、句法歧义进行检测对比。对比实验的结果分别见表8~11。
如表8所示,将规则和大语言模型相结合的检测效果明显高于仅使用单一策略的情况。这表明,LMAdetect中各部分的结合,可以有效提高需求歧义检测的能力。相较于仅采用启发式规则的结果,在针对词汇歧义检测方面,LMAdetect的准确率提升了0.2667,召回率提升了0.2798,F1分数提升了0.1770;在检测语义/范围歧义方面,LMAdetect准确率提升了0.2691,召回率提升了0.3700,F1分数提升了0.2190;在检测语法歧义方面,LMAdetect准确率提升了0.0125,召回率提升了0.1321,F1分数提升了0.0075;在检测句法歧义方面,LMAdetect准确率提升了0.4055,精确率提升了0.5000,F1分数提升了0.2837。虽然启发式规则在歧义检测方法中发挥了一定作用,但其效果相对有限。启发式规则采用简单逻辑和固定模式识别歧义类型,一定程度上可凭借结构化形式检测出歧义类型,但面对复杂的场景时,其能力存在局限。仅使用大语言模型的性能,在基于词汇和语义方面相较于启发式规则有明显的提升。这表明,大语言模型在歧义检测工作中可捕捉到更多细节,对需求语义有相对较深的理解。大语言模型的性能在一些层面上比启发式规则更出色,但在针对结构化的检测上不如启发式规则的检测效果。无论是规则还是大语言模型,和LMAdetect的整体效果相比,仍存在差距。与基于正则表达式方法检测的词汇歧义相比,LMAdeetect的性能有了显著提升。LMAdetect的召回率和F1分数分别为传统方法的3.74倍和2.71倍,准确率和精确率也分别提升了0.3558。
同样,如表9所示,在检测语义/范围歧义方面,LMAdetect相比于正则表达式的方法,在召回率、精确率、F1分数提高了0.2左右。这表明,正则表达式的方法在处理需求歧义检测任务时存在较大的局限性,而LMAdetect有效地克服了这些局限,取得了更好的效果。如表10所示,与POS标记方法检测的语法歧义相比,LMAdetect的性能也有所提升,LMAdetect的召回率、精确率和F1分数分别提高了0.1389、0.1951和0.1713。如表11所示,与现有的3个方法检测的句法歧义相比,LMAdetect的性能也相对更好,与正则表达式的方法相比,LMAdetect的准确率、召回率、精确率、F1分数分别提高了0.0116、0.7244、0.3784、0.6697;与POS标记方法相比,LMAdetect的准确率、召回率、精确率、F1分数分别提高了0.2024、0.3253、0.4016、0.3612;与Paska工具相比,LMAdetect的准确率、召回率、F1分数也分别提高了0.1左右。这得益于我们引入大语言模型的方式,将规则知识与语义理解能力相结合,充分利用了模型的优化效果。
综上,基于大语言模型与规则结合的方法,在对应歧义类型检测上的表现优于传统方法和基线模型。LMAdetect结合了启发式规则和大语言模型的优势,在需求歧义检测任务中表现出色,与现有方法对比表现优异,而且在面对大语言模型方法时也能保持竞争力,这说明了其在需求歧义检测任务中的有效性与可靠性。
问题3:LMAdetect在检测语用歧义和语言错误歧义上的检测效果如何?
为了回答该问题,我们将分别仅使用规则、仅使用大语言模型和增加语义理解、逻辑关系识别、引用/指代识别的上下文感知能力进行检测,并计算了检测语用歧义和语言错误歧义的准确率、召回率、精确率、F1分数,实验的结果见表12~13。
从实验结果可以看出,将大语言模型与多智能体协作,在增强上下文感知能力的情况下,检测结果会显著高于仅使用规则和仅使用大语言模型的情况,LMAdetect中各部分的结合能够有效提高需求歧义检测的性能。较仅使用规则的检测结果相比,在检测语用歧义这方面,准确率、精确率和F1分数分别提高了0.4674、0.4792和0.5726;在检测语言错误歧义方面,准确率、召回率、F1分数也分别提高了0.1529、0.3243、0.1032。较仅使用大语言模型的检测结果相比,在检测语用歧义这方面,准确率和F1分数提高了约0.17,召回率提升了0.5025;在检测语言错误歧义方面,准确率、精确率、F1分数也分别提高了0.0353、0.0455、0.0222。
综上,实验结果表明,LMAdetect通过增强上下文感知能力,在语义理解、逻辑关系识别和引用/指代识别方面得到了显著提升,从而能够有效检测语用歧义与语言错误歧义。该方法不仅凭借启发式规则的简单高效,还借助了大语言模型的强大识别能力,实现了需求歧义检测效果的显著提升。这一步发现进一步证实了LMAdetect设计的有效性。
为评估提出的多智能体协作框架和D-S证据理论融合的必要性,进行了基于现有基线的消融分析。消融研究通过比较完整LMAdetect框架与简化变体评估关键组件的贡献。“仅使用规则”变体消融了大语言模型和多智能体组件,仅依赖启发式规则检测;“仅使用大语言模型”变体消融了基于规则的算法和专家分配,模拟更简单的单大语言模型多分类方法(如通过Chain-of-Thought提示直接处理6种歧义类型)。如表8~13所示,消融这些组件能显著降低性能。词汇歧义下,完整LMAdetect F1分数为0.9328,较仅使用规则(0.7558)提升17.7%,较仅使用大语言模型(0.8158)提升11.7%;其他类型类似,平均F1分数较仅使用规则提升34.4%,较仅使用大语言模型提升31.6%。这证明了每个组件的独特贡献:启发式规则提供结构化检测但缺乏深层语义,导致语用和语言错误歧义召回率低;纯大语言模型提供语义理解但无智能体路由和融合,导致分类不一致,精确率下降。多智能体设计为每类型分配专家,而D-S融合汇总置信度解决冲突,实现6种歧义全面覆盖。虽然我们的框架通过多智能体协作和D-S融合引入复杂性,消融比较证明了其相对于简单替代方案的必要性。我们的设计优势增强语义/逻辑识别和指代解析,实现语用和语言错误歧义的优越处理。
问题4:在多类歧义检测任务中,不同模型对结果的影响如何?
为了评估不同模型在多种歧义类型检测任务中的表现差异,我们针对通用模型和推理模型进行了全面对比分析,详见表14~19。通过准确率、召回率、精确率、F1分数等性能指标,对词汇歧义、句法歧义、语法歧义、语义/范围歧义、语用歧义和语言错误歧义6种类型展开评估。本节重点分析通用模型与推理模型的性能差异,并通过不同模型之间的对比,揭示它们的核心特点以及对歧义检测任务的整体影响。
1)通用模型的效果
通用模型在不同类型的歧义检测任务中表现各异,为了评估通用模型对于检测任务的效果,我们对包括国内的阿里云和DeepSeek以及国外的OpenAI、Claude、Grok、Google在内的通用模型进行了性能对比。如表14所示,在检测词汇歧义上,deepseek-v3-0324模型的F1分数最高,表现了强召回率和精确率,体现了它对于词汇这方面的检测能力很强。相比之下,qwen2.5-72b-instruct和gpt-4o模型的性能表现中等,其F1分数值分别为0.7783和0.7892,这表明它们在处理细微词汇歧义时存在局限性。对于句法歧义,大多数模型都表现出色,其中claude-3-5-sonnet-20241022模型的高精确率和高召回率使其F1分数最高。如表15所示,对于语法歧义检测,deepseek-v3-0324模型的F1分数为0.9116,达到最高,而grok-4和claude-3-5-sonnet-20241022模型因准确率较低,分别以0.6667和0.6777的F1分数表现欠佳。对于语义/范围歧义的检测任务,各模型整体表现下滑,deepseek-v3-0324模型以0.8292的F1分数取得最高,gpt-4o模型则以0.6729的F1分数略逊一筹,显示出其在复杂语义场景下处理歧义的困难。如表16所示,在语用歧义检测任务中,deepseek-v3-0324和gpt-4o模型表现尚可,qwen2.5-72b-instruct模型则表现一般。对于检测语言错误歧义,grok-4模型的F1分数最高,达到0.9941。其次是gemini-2.5-pro模型,充分展现了其对语言错误的强大检测能力。
实验结果表明,通用模型在检测句法歧义和语言错误歧义方面表现良好,但由于可能需要语义以及上下文的推理,通用模型对于语用和语义/范围歧义检测方面相对较差。
2)推理模型的效果
为了评估推理模型的检测效果,我们对包括国内的阿里云和DeepSeek以及国外的OpenAI、Claude、Grok、Google在内的推理模型进行了性能对比。如表17所示,对于词汇歧义检测,qwq-max-search模型的F1分数最高,超过其对应的通用模型qwq-max-search的检测结果。claude-3-7-sonnet-thinking模型同样表现出色,其F1分数达到了0.9664。在句法歧义检测任务中,多数推理模型表现优异,其中gemini-2.5-pro-thinking模型的F1分数最高,达到0.9633,与通用模型表现相当。如表18所示,在语法歧义检测任务中,o1-preview模型F1分数最高,而grok-3-reasoner模型表现稍差一些,这说明推理增强并不能普遍提高性能。对于语义/范围歧义检测任务,qwq-max-search模型的F1分数为0.6974,而grok-3-reasoner模型仅为0.4619。如表19所示,对于语用歧义的检测,gemini-2.5-pro-thinking模型的F1分数达到了0.9486,远超其对应的通用模型的检测结果。对于语言错误歧义方面,deepseek-reasoner的F1分数达到了0.9759,多数模型的检测结果都达到了很好的效果,这表明推理模型在语言错误歧义检测方面效果尤为突出。
实验结果表明,推理模型通常在特定任务中优于其通用模型,尤其是在语用和语言错误歧义方面,能够有效支持上下文理解和逻辑分析。
对比通用模型与推理模型可以发现显著差异。qwq-max-search模型在词汇歧义和语言错误歧义检测方面明显优于qwen2.5-72b-instruct模型,体现了推理模型的改进优势。同样,gemini-2.5-pro-thinking模型在语用歧义上的表现也优于gemini-2.5-pro模型,表明推理模型的推理增强效果在语境任务上起到重要作用。然而,grok-3-reasoner模型在语义/范围歧义和语法歧义方面表现较差,不如grok-4模型,这说明推理模型并不能提升各方面性能,可能会受到模型特定限制或训练偏差的影响。deepseek-v3-0324模型在通用任务中表现稳定,尤其擅长处理词汇歧义以及句法歧义。而deepseek-reasoner模型在语言错误歧义检测方面表现优异,但在检测语用歧义上稍显不佳。OpenAI的gpt-4o模型和o1-preview模型则展现出均衡性能,其中o1-preview模型在检测语法错误和语义/范围歧义方面有所提升。Claude模型在句法和语言错误歧义检测方面表现良好,通过推理模型的推理增强在语用任务中显著提升了性能。Grok模型在检测语言错误歧义方面表现优异,但在语义和语法歧义处理上面存在不足,特别是在推理模型检测中。Google模型通过推理在语用歧义检测上取得显著进步,使其在上下文任务中具备竞争力。
综上,LMAdetect在检测多种歧义类型方面具有可行性。通用模型在句法歧义和语言错误歧义检测任务中表现优异,但在检测语用以及语义/范围歧义方面略显不足。此外,推理模型通常能通过逻辑推理和语境推理相关的语用和语言错误歧义检测任务表现突出。然而,不同模型在特定任务中的推理增强效果参差不齐,部分模型在某些歧义类型检测上表现欠佳。这些发现表明,模型设计与训练策略对处理多样化歧义类型具有重要影响。不同模型的差异反映了它们在架构、训练数据和优化任务方面的不同选择,这些因素共同作用于其在复杂语境中的表现。
为进一步探究不同模型在特定歧义类型下性能差异背后的原因,本文选取了2条具有代表性的需求实例进行分析,并对比了LMAdetect、推理模型与通用大语言模型的输出结果。
实例1:The system shall notify users。该需求语句的正确标注为“语用歧义”,因为其缺乏明确的动作方式(如通知手段、渠道或时机)。在检测结果中,通用大语言模型常将该语句判定为“无歧义”,理由是其语法和语义结构完整;而推理模型能够结合上下文推理得出“notify users”存在多种解释空间,因而更倾向于正确输出“语用歧义”。LMAdetect在此例中输出“语用歧义”,其优势在于结合规则检测中对“未指定执行细节的动作”所定义的启发式条件,从而避免了模型仅凭常识推断而低估歧义风险的问题。该结果表明,推理模型和基于规则的协作框架更擅长处理依赖上下文和多义行为描述的语用歧义。
实例2:All files in the system are secure。该需求语句的正确标注为“语义/范围歧义”,因为“All”是否包含临时文件、日志文件或外部导入文件存在多种可能解释。通用模型在该任务中给出正确判断,但推理模型往往未能识别该潜在问题,而直接判定为“无歧义”。追踪推理模型的输出可发现,它依赖上下文常识(认为“files”应默认为系统内文件集合),因而忽视了边界范围的不明确性。相较之下,LMAdetect能够通过规则定义的“量化词范围检测”模块捕捉到不确定的边界条件,并结合大语言模型的语义分析完成正确分类。该结果表明,推理模型虽在语用类任务中优势明显,但在需严谨逻辑边界推理的语义/范围歧义任务中仍存在不足,而LMAdetect的优势在于规则与模型的互补作用。
通过以上实例分析可以看出,推理模型和多智能体协作框架在处理不同歧义类型时呈现互补性。推理增强提升了语用层面的上下文理解能力,而规则与融合机制则能够弥补其在范围逻辑和精确语义判断方面的不足。这一性质分析与前述量化结果相互印证,进一步验证了本文所提出方法的有效性与适用性。
我们基于实验结果回答了这4个研究问题。问题1数据集以单句形式呈现,在语义、场景和逻辑上是完全独立的。问题2 LMAdetect能够有效的检测单个类型的需求歧义,但在若干方面仍然存在不足,需要持续改进完善。问题3 LMAdetect能够有效检测语用歧义和语言错误歧义,但其针对语用歧义检测方法还有待加强,需持续优化。问题4针对通用模型和推理模型的检测效果分析,通用模型在句法和语言错误检测方面表现出色,而推理模型在语用和语言错误任务中提高了性能,不同模型和歧义类型的效果各不相同。
基于对研究问题答案的分析,我们认为LMAdetect能在一定程度上解决前言部分提到的挑战。同时,LMAdetect为需求歧义提供了有效的检测。这有助于项目开发人员之间和在开发期间减少一定的歧义冲突以及彼此之间的沟通交流。虽然LMAdetect在识别歧义方面是有效的,但对于歧义类型的细粒度分类需要进一步改进,特别是对于复杂的、上下文相关的歧义。未来改进应着重于提升语义和语用歧义情境下的上下文理解能力,从而增强整体检测性能。
针对LMAdetect进行的实验,使用deepseek-v3-0324模型在1192条数据集上取得了一定的效果,但研究期间也暴露出诸多局限性和可改进之处。一方面关于模型的选择,该模型可能并非最佳选择。即使模型具备一定的语义分析能力,但既未选用参数规模更大的最新模型,也缺乏针对特定任务的深度微调优势。这限制了LMAdetect的整体性能上限,尤其是在需要进行语境理解或知识库知识的复杂语用和语义歧义识别时表现欠佳。此外,实验设置本身也存在局限性,固定配置的实验环境可能无法充分反映在不同硬件环境或超参数调优条件下的性能变化,这是源于缺乏多样化的计算资源配置以及交叉验证设计。在数据集范围方面,尽管1192条需求具有一定多样性,但其主要源自学术文献和GitHub仓库,这也许会带来选择性偏差。若数据集覆盖范围不足或分布不均,可能引起规则对新数据集的泛化能力受限。LMAdetect不涉及自定义数据集的预训练,而是依赖现成大语言模型(如通过中间商访问DeepSeek)的实时推理,因此本质上避免了训练阶段的直接数据泄露风险。但是大语言模型本身也存在一定的局限性。LMAdetect借助大语言模型进行语义理解和分类,而大语言模型可能受到训练数据偏差或“幻觉”现象的干扰,尤其是在处理领域特定的术语及复杂任务时,可能产生不准确的分类结果。此外,LMAdetect基于多智能体协作框架,虽然提高了检测鲁棒性,但其计算复杂性较高。当处理大规模需求文档时,这可能导致检测时间显著增加,从而限制其在实时应用场景中的实用性。
LMAdetect方法的有效性可能面临以下威胁。首先,内部有效性威胁,主要体现在实验数据的清洗与预处理过程中可能出现的偏差。尽管通过多种学术数据库和GitHub仓库收集到1192条需求数据,但数据选择和清洗过程也许会引入人为选择偏差,进而影响实验结果的代表性。此外,deepseek-v3-0324模型的选择及参数设置(如temperature为0.5)可能对检测结果产生影响,若未充分研究其他模型与参数的组合形式,可能低估了方法性能的上限。其次,外部有效性威胁源于数据集的局限性。现有的实验仅依据特定学术文献和公开数据集,未能涵盖到各个行业或领域的需求文档类型,限制了方法在不同上下文中的普适性。此外,实验环境可能与实际工业环境存在差异,如资源限制或硬件差异,这可能影响方法的可扩展性。最后,构造有效性威胁可能源于对歧义类型的定义和检测条件简化的结果。尽管表1列出了6种歧义类型及其规则,但实际需求中的歧义可能涉及更复杂的交互或未定义的模式,现有的分类框架可能未能完全捕捉这些细微差别,使得检测指标可能高估了方法的实际能力。然而,LMAdetect需要通过提示词提供用户数据(如需求语句)进行大语言模型分析,尽管我们的设计最小化了此类暴露,但数据可能在操作途径中存在潜在泄露。针对工具本身,我们的框架采用严格的无存储策略,用户输入仅在内存中临时处理,分析后立即丢弃,无日志或数据库持久化。这确保了工具本身无泄露,因为数据从未在推理会话之外本地留存。针对中间服务商Chatfire,在实验途中,调用的是中间商Chatfire,由于缺乏透明度,ChatFire的数据处理存在不确定性。作为中间商,它可能转发用户提示和数据到后端大语言模型(如 DeepSeek),但没有明确承诺不存储、加密或保护数据,这增加了潜在泄露风险。针对大语言模型提供商DeepSeek,在调用完Chatfire后把请求给DeepSeek,DeepSeek在公开文档中明确声明,用户输入的数据不会用于再训练,且遵循行业标准的隐私保护策略,仅在必要情况下保留短期日志用于服务监控,这在原则上降低了数据泄露的可能性。但需要注意,具体实现上的透明度有限,用户仍需依赖提供商的承诺。因此,尽管DeepSeek提供了书面保证,但其是否完全消除泄露风险的能力仍有待实践验证。
SRS中的歧义是自然语言需求中常见的质量问题,可能导致误解和项目失败。为此,我们在本文中提出了一种基于大语言模型协调多智能体的需求歧义检测方法LMAdetect。该方法结合了启发式规则和大语言模型,针对SRS中的语法和句法歧义进行自动化检测和分析。根据前期对实际需求文档中歧义问题的调研结果,LMAdetect通过NLP技术和启发式规则,从需求文本中提取关键结构特征生成候选歧义区域,并利用大语言模型的语义理解能力对歧义进行精准识别和分类,从而提供有效的检测结果。
虽然LMAdetect的设计不针对特定领域的需求文档,但其原型实现目前主要处理英语编写的SRS文档。LMAdetect的文本分析部分(包括分词、词性标注和句法分析)依赖于英语的语言特性,因此若未来需要扩展到其他语言(如中文或德文),则需重新实现相应的NLP模块。未来的研究将考虑收集包含上下文依赖关系的数据集,如用户故事级需求集合或跨句关联的需求片段,以进一步研究篇章级语义一致性下的歧义检测问题。例如,一个用户故事往往对应多个功能性需求,这些需求在语义和逻辑上存在明显关联。若能综合分析此类关联,LMAdetect 的上下文感知能力可从局部扩展到篇章级,从而更贴近真实软件开发场景。在此基础上探索更多的指导机制,未来可利用本文提出的关键结构分析方法,扩展到其他需求质量问题的检测,如不完整条件或不精确术语,以进一步提升需求工程的自动化水平。研究本文方法旨在提高在其他多智能体应用领域的有效性,同时探索大型语言模型在需求歧义修复中的实际应用。
作者贡献声明:高俊涛提出研究思路,指导论文,对论文整体框架与核心内容提出修改意见;刘芳设计研究方案,完成实验设计并撰写论文;杨溢龙对研究方案进行针对性指导,参与论文审阅并提出修改意见。

参考文献 引证文献
排序方式:
1
Berry D M, Kamsties E, Krieger M M. From Contract Drafting to Software Specification: Linguistic Sources of Ambiguity[M]. Waterloo: University of Waterloo, 2003
2
Kamsties E, Paech B. Taming ambiguity in natural language requirements[C]//Proc of the 13th Int Conf on Software and Systems Engineering and Applications. Paris, France: Center for Mastering Systems & Software (CMSL) of CNAM, 2000: 1−8
3
Doe J. Recommended practice for software requirements specifications (IEEE)[S]. New York: Midori, 2011-12-29
4
Jackson M. Software Requirements & Specifications: A Lexicon of Practice, Principles and Prejudices[M]. New York: ACM Press/Addison-Wesley, 1995
5
Beer A, Junker M, Femmer H, Felderer M. Initial investigations on the influence of requirement smells on test-case design[C]//Proc of 2017 IEEE 25th Int Requirements Engineering Conf Workshops (REW). Piscataway, NJ: IEEE, 2017: 323−326
6
Shang Yanran, Jin Shui. On the ambiguity caused by the language structure in the legal case[C]//Proc of the 2018 3rd Int Conf on Education, E-learning and Management Technology (EEMT’ 2018). Paris, France: Atlantis, 2018: 499−504
7
王春晖, 金芝, 赵海燕, 等. 一种用户故事需求质量提升方法[J]. 计算机研究与发展, 2021, 58(4): 731−748
Wang Chunhui, Jin Zhi, Zhao Haiyan, et al. An approach for improving the requirements quality of user stories[J]. Journal of Computer Research and Development, 2021, 58(4): 731−748 (in Chinese)
8
Rupp C, Goetz R. Linguistic methods of requirements-engineering (NLP)[C]//Proc of the European Software Process Improvement Conf (EuroSPI). Copenhagen Denmark: Copenhagen Business School, 2000: 7−11
9
Gause D C, Weinberg G M. Exploring Requirements: Quality Before Design[M]. New York: Dorset House, 1989
10
Heitmeyer C L, Jeffords R D, Labaw B G. Automated consistency checking of requirements specifications[J]. ACM Transactions on Software Engineering and Methodology, 1996, 5(3): 231−261
11
Boehm B W. Software engineering - as it is[C]//Proc of the Int Conf on Software Engineering. Piscataway, NJ: IEEE, 1979: 11−21
12
Robertson S, Robertson J. Mastering the Requirements Process: Getting Requirements Right[M]. Boston: Addison-Wesley, 2012
13
Berry D M, Kamsties E. Ambiguity in Requirements Specification[M]//Perspectives on Software Requirements. Boston, MA: Springer US, 2004: 7−44
14
Xu H R, Kim Y J, Sharaf A, et al. A paradigm shift in machine translation: Boosting translation performance of large language models[C]//Proc of the 12th Int Conf on Learning Representations. OpenReview. net, 2024: 1−21
15
Yao B W, Jiang M, Bobinac T, et al. Benchmarking machine translation with cultural awareness[C]//Proc of the Findings of the Association for Computational Linguistics: EMNLP 2024. Miami: ACL, 2024: 13078−13096
16
Shi Y C, Ma H H, Zhong W L, et al. ChatGraph: Interpretable text classification by converting ChatGPT knowledge to graphs[C]//Proc of the 2023 IEEE Int Conf on Data Mining Workshops. Piscataway, NJ: IEEE, 2023: 515−520
17
Kurisinkel L J, Chen N F. LLM based multi-document summarization exploiting main-event biased monotone submodular content extraction[J]. arXiv preprint arXiv: 2310.03414, 2023
18
徐子懋, 姜艳杰, 张宇霞, 等. 基于大语言模型的长方法分解[J]. 软件学报, 2025, 36(6): 2501−2514
Xu Zimao, Jiang Yanjie, Zhang Yuxia, et al. Large-language-model-based decomposition of long methods[J]. Journal of Software, 2025, 36(6): 2501−2514 (in Chinese)
19
Vinay S, Aithal S, Desai P. An approach towards automation of requirements analysis[C]//Proc of the Int MultiConf of Engineers and Computer Scientists 2009. Hong Kong: IMECS, 2009: 1080−1085
20
Kamsties E, Berry D M, Paech B, et al. Detecting ambiguities in requirements documents using inspections[C]//Proc of the 1st Workshop on Inspection in Software Engineering (WISE’01). Hamilton, Canada: Software Quality Research Lab, McMaster University, 2001: 68−80
21
Fabbrini F, Fusani M, Gnesi S, et al. An automatic quality evaluation for natural language requirements[C]//Proc of the 7th Int Workshop on Requirements Engineering: Foundation for Software Quality REFSQ. Interlaken, Switzerland: REFSQ Workshop, 2001: 4−5
22
Nigam A, Arya N, Nigam B, et al. Tool for automatic discovery of ambiguity in requirements[J]. International Journal of Computer Science Issues, 2012, 9(5): 350−356
23
Tjong S F. Avoiding Ambiguity in Requirements Specifications[D]. Semenyih, Selangor Darul Ehsan, Malaysia: University of Nottingham, 2008
24
Rosadini B, Ferrari A, Gori G, et al. Using NLP to detect requirements defects: An industrial experience in the railway domain[C]//Proc of the Int Workshop on Requirements Engineering: Foundation for Software Quality (REFSQ). Cham: Springer, 2017: 344−360
25
Gleich B, Creighton O, Kof L. Ambiguity detection: Towards a tool explaining ambiguity sources[C]//Proc of the 18th IEEE Int Requirements Engineering Conf (RE’10). Berlin: Springer, 2010: 218−232
26
Sabriye A O J, Wan Z W M N. An approach for detecting syntax and syntactic ambiguity in software requirement specification[J]. Journal of Theoretical and Applied Information Technology, 2018, 96(8): 2275−2284
27
Ferrari A, Esuli A. An NLP approach for cross-domain ambiguity detection in requirements engineering[J]. Automated Software Engineering, 2019, 26(3): 559−598
28
Gentile A L, Coden A R, Lourentzou I, et al. Identifying ambiguity in semantic resources: U. S. Patent 11, 379, 669[P]. 2022-7-5
29
Šenkýř D, Kroha P. Patterns of ambiguity in textual requirements specification[C]//Proc of the World Conf on Information Systems and Technologies (WorldCIST’19). Cham: Springer, 2019: 886−895
30
Liu Y, Medlar A, Głowacka D. Lexical ambiguity detection in professional discourse[J]. Information Processing & Management, 2022, 59(5): 103000
31
Veizaga A, Shin S Y, Briand L C. Automated smell detection and recommendation in natural language requirements[J]. IEEE Transactions on Software Engineering, 2024, 50(4): 695−720
32
Levy R, Andrew G. Tregex and tsurgeon: Tools for querying and manipulating tree data structures[C]//Proc of the 5th Int Conf on Language Resources and Evaluation. Genoa, Italy: European Language Resources Association, 2006: 2231−2234
33
Bang Y, Cahyawijaya S, Lee N, et al. A multitask, multilingual, multimodal evaluation of ChatGPT on reasoning, hallucination, and interactivity[J]. arXiv preprint arXiv: 2302.04023, 2023
34
Liang P, Bommasani R, Lee T, et al. Holistic evaluation of language models[J]. arXiv preprint arXiv: 2211.09110, 2022
35
陈炫婷, 叶俊杰, 祖璨, 等. GPT系列大语言模型在自然语言处理任务中的鲁棒性[J]. 计算机研究与发展, 2024, 61(5): 1128−1142
Chen Xuanting, Ye Junjie, Zu Can, et al. Robustness of GPT large language models on natural language processing tasks[J]. Journal of Computer Research and Development, 2024, 61(5): 1128−1142 (in Chinese)
36
Liu Chao, Bao Xuanlin, Zhang Hongyu, et al. Improving ChatGPT prompt for code generation[J]. arXiv preprint arXiv: 2305.08360, 2023
37
Toy J, Tabor P, MacAdam J. Metacognition is all you need? Using introspection in generative agents to improve goal-directed behavior[J]. arXiv preprint arXiv: 2401.10910, 2024
38
Jiang Xun, Li Feng, Zhao Han, et al. Long term memory: The foundation of AI self-evolution[J]. arXiv preprint arXiv: 2410.15665, 2024
39
Qian Chen, Liu Wei, Liu Hongzhang, et al. Chatdev: Communicative agents for software development[C]//Proc of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). Bangkok: ACL, 2024: 15174−15186
40
Wang Boxin, Chen Weixin, Pei Hengzhi, et al. Decodingtrust: A comprehensive assessment of trustworthiness in GPT models[C]//Proc of the 37th Annual Conf on Neural Information Processing Systems. New Orleans, LA, USA, Neural Information Processing Systems Foundation, 2023:1−95
41
Zhang Yue, Li Yafu, Cui Leyang, et al. Siren’s song in the AI ocean: A survey on hallucination in large language models[J]. Computational Linguistics, 5114: 1−46
42
Chang Yupeng, Wang Xu, Wang Jindong, et al. A survey on evaluation of large language models[J]. ACM Transactions on Intelligent Systems and Technology, 2024, 15(3): 1−45
43
Guo Biyang, Zhang Xin, Wang Ziyuan, et al. How close is ChatGPT to human experts? Comparison corpus, evaluation, and detection[J]. arXiv preprint arXiv: 2301.07597, 2023
44
Abualhaija S, Fucci D, Dalpiaz F, et al. Preface: 3rd workshop on natural language processing for requirements engineering (NLP4RE’20)[C]//Joint Proc of REFSQ−2020 Workshops, Doctoral Symp, Live Studies Track, and Poster Track. Pisa, Italy: CEUR-WS. org, 2020: 1−3
45
Fantechi A, Gnesi S, Semini L. Rule-based NLP vs ChatGPT in ambiguity detection, a preliminary study[C/OL]//Proc of REFSQ Workshops. 2023: 1−10[2026-02-15]. https://ceur-ws.org/Vol3378/NLP4RE-paper1.pdf
46
Fazelnia M, Koscinski V, Herzog S, et al. Lessons from the use of natural language inference (NLI) in requirements engineering tasks[C]//Proc of 2024 IEEE 32nd Int Requirements Engineering Conf (RE). Picataway, NJ: IEEE, 2024: 103−115
47
Saleem S, Asim M N, Dengel A. PassionNet: An innovative framework for duplicate and conflicting requirements identification[J]. Expert Systems with Applications, 293: 128684
48
Wasow T, Perfors A, Beaver D. The puzzle of ambiguity[J]. Morphology and the web of grammar: Essays in memory of Steven G. Lapointe. Stanford, CA: CSLI Publications, 2005: 265−282. https://web.stanford.edu/~wasow/Lapointe.pdf
49
Pomian D, Bellur A, Dilhara M, et al. Together we go further: LLMs and IDE static analysis for extract method refactoring[J]. arXiv preprint arXiv: 2401.15298, 2024
2026年第63卷第4期
121
58
0
引用本文
BibTeX
文章信息
doi: 10.7544/issn1000-1239.202550700
  • 接收时间:2025-09-21
  • 首发时间:2026-11-17
  • 出版时间:2026-04-01
补充材料
相关文章
文章信息
作者
出版历史
  • 收稿日期:2025-09-21
  • 修回日期:2025-12-29
基金
作者信息
    1东北石油大学计算机与信息技术学院 黑龙江大庆 163318
    2北京航空航天大学软件学院 北京 100080

通讯作者:

杨溢龙()
参考文献
分享链接
https://castjournals.cast.org.cn/joweb/jsjyjyfz/CN/10.7544/issn1000-1239.202550700
分享至
全文二维码

扫描看全文

引用本文
BibTeX
本文的引用情况
2种不同金属材料的力学参数
科
Family
属数
Number of
genus
种数
Number of
species
占总种数比例
Percentage of
total species (%)
属
Genus
种数
Number of
species
占总种数比例
Percentage of total
species (%)
鹅膏菌科Amanitaceae 2 11 5.26 鹅膏菌属 Amanita 10 4.78
小菇科 Mycenaceae 2 12 5.74 丝盖伞属 Inocybe 5 2.39
多孔菌科 Polyporaceae 8 14 6.70 蜡蘑属 Laccaria 5 2.39
红菇科 Russulaceae 3 23 11.00 小皮伞属 Marasmius 6 2.87
小菇属 Mycena 11 5.26
光柄菇属 Pluteus 5 2.39
红菇属 Russula 17 8.13
栓菌属 Trametes 5 2.39
关闭全屏