萧箫 发自 凹非寺
量子位 | 公众号 QbitAI
用ChatGPT写代玛,已经是不少程序员的常规操作了。
△“至少提速3~5倍”
但你有没有想过,ChatGPT生成的代玛,有不少只是“看起来准确”而已?
来自伊利诺伊大学香槟分校和南京大学的一项新研究表明:
ChatGPT和GPT-4生成代玛的准确率,比之前评估的至少要降低13%!
有网友感叹,太多ML论文都在用一些有问题或有局限性的基准来评估模型,来短暂地达到“SOTA”,结果换个测评方法就现出原形了。
还有网友表示,这也说明大模型生成的代玛仍然需要人工监督,“AI写代玛的黄金时间还没到呢”。
所以,论文提出了一种怎样的新测评方法?
给AI代玛*加大难度
这个新方法名叫EvalPlus,是一个自动化代玛评估框架。
具体来说,它会通过改进现有评估数据集的输入多样性和问题描述准确性,来将这些评估基准变得更严格。
一方面是输入多样性。EvalPlus会先根据标准答案,用ChatGPT生成一些种子输入样例(虽然要测ChatGPT的编程能力,但用它生成种子输入似乎也不矛盾doge)
随后,用EvalPlus改进这些种子输入,将它们改得更难、更复杂、更刁钻。
另一方面是问题描述准确性。EvalPlus会将代玛需求描述改得更精确,在约束输入条件的同时,补充自然语言问题描述,以提高对模型输出的精确度要求。
这里,论文选择了HUMANEVAL数据集作为示范。
HUMANEVAL是OpenAI和Anthropic AI一起制作的代玛数据集,包含164个原创编程题,涉及语言理解、算法、数学和软件面试几种类型的题目。
EvalPlus会通过改进这类数据集的输入类型和功能描述,让编程问题看起来更清晰,同时用于测试的输入更“刁钻”或是更困难。
以其中的一道求并集编程题为例,要求AI写一段代玛,找出两个数据列表中的共同元素,并给这些元素排序。
EvalPlus用它来测测ChatGPT写的代玛准确度。
首先用几个简单输入进行测试,发现ChatGPT能输出正确答案。但如果换个输入,就找出了ChatGPT版代玛的bug:
属实是给AI们加大了*难度。
基于这套方法,EvalPlus还做了一个改进版HUMANEVAL+数据集,增加输入的同时,修正了一些HUMANEVAL里面答案就有问题的编程题。
那么,在这套“新*”下,大语言模型们的准确率实际上要打几折?
LLM代玛准确率平均降低15%
作者们测试了当前比较受欢迎的10种代玛生成AI。
GPT-4、ChatGPT、CODEGEN、VICUNA、SANTACODER、INCODER、GPT-J、GPT-NEO、PolyCoder、StableLM-α。
从表格中来看,经过严格测试后,这*AI的生成准确率都有所下降:
这里会通过一种名叫pass@k的方法评估准确率,其中k是允许大模型给问题生成的程序数量,n是用于测试的输入数量,c是正确的输入数量:
根据新的这套评估标准,大模型们的准确率平均下降了15%,其中比较广泛研究的CODEGEN-16B更是下降了超过18%。
至于ChatGPT和GPT-4生成代玛的性能,也下降了至少13%。
不过,也有网友表示,大模型生成的代玛效果没那么好,已经是“众所周知的事实”了,需要研究的是“为什么大模型写的代玛不能用”。
作者介绍
共同一作Jiawei Liu,伊利诺伊大学香槟分校二年级博士生,研究兴趣是编程系统和深度学习。
共同一作Chunqiu Steven Xia,伊利诺伊大学香槟分校二年级博士生,本科毕业于多伦多大学,研究兴趣是机器学习和软件工程的交叉领域。
*峣(Yuyao Wang),南京大学计算机科学大三学生,研究兴趣是计算机系统的准确性、可编程性和性能。
Lingming Zhang,伊利诺伊大学香槟分校副教授,研究方向是软件工程及其与机器学习、编程语言和形式化方法(Formal Methods)的协同作用。
论文地址:
https://arxiv.org/abs/2305.01210
代玛地址:
https://github.com/evalplus/evalplus
— 完 —
量子位 QbitAI · 头条号签约
以上就是【ChatGPT编程准确率暴降13%!UIUC&南大新基准让AI代玛现原形了】的相关内容,查看其它ai资讯请关注微咔网
根据二〇〇二年一月一日《计算机软件保护条例》第十七条规定:为了学习和研究软件内含的设计思想和原理,通过安装、显示、传输或者存储软件等方式使用软件的,可以不经软件著作权人许可,不向其支付报酬。
本网站所有发布的源码、软件和资料,均为作者提供或网友推荐收集各大资源网站整理而来,仅供功能验证和学习研究使用。
所有资源的文字介绍均为网络转载,本站不保证相关内容真实可信,同时不保证所有资源100%无错可用,也不提供相应的技术支持,介意勿下。
您必须在下载后24小时内删除,不得用于非法商业用途,不得违反国家法律,一切关于该资源的商业行为与本站无关。
如果您喜欢该程序,请支持正版源码,得到更好的正版服务。、如有侵犯你的版合法权益,请邮件与我们联系处理【投诉/建议发送至邮箱:3066548754@qq.com】,本站将立即改正并删除。
本声明为本站所有资源最终声明,所有与本声明不符的表述均以本声明内容为准。
微咔网 » ChatGPT编程准确率暴降13%!UIUC&南大新基准让AI代玛现原形了