封面新闻记者 欧阳宏宇
自ChatGPT在全球走红，文心一言、通义千问、MOSS等类ChatGPT产品相继涌现。这些AIGC产品是如何炼成的？又隐藏着哪些关键技术？
“大语言模型技术快速演进，已给人类展现出一个通向通用人工智能的大框架，下一步重要的是让大模型和现实世界对齐。”近日，复旦大学计算机科学技术学院教授邱锡鹏表示，情景学习、思维链和指令学习这三项技术，会是以ChatGPT为代表的语言模型在AI领域叱咤风云的关键原因。
所谓语言模型，是利用计算机重新建模人类语言，把自然语言转化为机器能够理解并判断的语言的一种机制。
据介绍，研发大模型即利用概率判断来进行语句处理，如果这个句子符合自然语言的规律，就赋予它一个比较高的概率，反之，则赋予较低的概率。而要想模型的预测越准确，就势必需要大量的参数对其进行训练，以帮助大规模语言模型能够充分理解人类语言规则及其逻辑关系。当大型语言模型在达到百亿级规模后，其关键能力便开始涌现。
具体而言，情景学习，即在上下文语境中学习的能力。思维链，指的是做大模型示例的时候不要只给答案，也要给它推导过程，语言模型学习这个推导过程，终给出一个正确的答案。自然指令学习，是语言模型直接听懂人的意图。“好的语言模型需要更好地理解语言与常识。”邱锡鹏说。
谈及国产ChatGPT是如何炼成的，邱锡鹏表示，大致分为三步，第一步需要先实现语言模型基座，第二步是指令微调，第三步是能力不断强化迭代。以MOSS为例，目前已激活了大型语言模型对话能力。但由于在训练上投入有限，其规模只有ChatGPT的十分之一，未来会引入外部工具进行优化。同时用户的使用也是在帮助它变得越来越好。
语言模型向人类的价值观和思维方式对齐，并应用于真实世界，无疑将颠覆各行业生态。在邱锡鹏看来，人类具有适应性和灵活性，更擅长的是利用AI的能力把工作做到更好。“人类的思考和判断能力需要再度强化，变得更加明确。”他表示，目前为止，AI依然在可控范围内发展，当它成为某种基础设施后，如何控制其能力就将变得十分关键，相关的法律法规、*的重视、社会的认同，都应参与进整个生态中来。
【如果您有新闻线索，欢迎向我们报料，一经采纳有费用酬谢。报料微信关注：ihxdsb，报料QQ：3386405712】
以上就是【复旦邱锡鹏：大语言模型技术下一步的关键是和现实世界“对齐”】的相关内容，查看其它ai资讯请关注微咔网
根据二〇〇二年一月一日《计算机软件保护条例》第十七条规定：为了学习和研究软件内含的设计思想和原理，通过安装、显示、传输或者存储软件等方式使用软件的，可以不经软件著作权人许可，不向其支付报酬。
本网站所有发布的源码、软件和资料，均为作者提供或网友推荐收集各大资源网站整理而来，仅供功能验证和学习研究使用。
所有资源的文字介绍均为网络转载，本站不保证相关内容真实可信，同时不保证所有资源100%无错可用，也不提供相应的技术支持，介意勿下。
您必须在下载后24小时内删除，不得用于非法商业用途，不得违反国家法律，一切关于该资源的商业行为与本站无关。
如果您喜欢该程序，请支持正版源码，得到更好的正版服务。、如有侵犯你的版合法权益，请邮件与我们联系处理【投诉/建议发送至邮箱：3066548754@qq.com】，本站将立即改正并删除。
本声明为本站所有资源最终声明，所有与本声明不符的表述均以本声明内容为准。
微咔网 » 复旦邱锡鹏：大语言模型技术下一步的关键是和现实世界“对齐”
