业内人士:大模型催生多样化数据处理 数据存储面临新要求

  中新网广州5月13日电 (记者 蔡敏婕)随着人工智能技术的快速发展,大型语言模型已经成为近年来受瞩目的技术之一。自年初以来,以ChatGPT为代表的对话式大型语言模型技术掀起AIGC(人工智能生成内容)浪潮,引发各领域广泛关注。

  智算时代,算力是生产力,数据是核心生产要素。大型语言模型横空出世后,对数据存储提出更高的要求:一是要完成基于海量多态数据的训练;二是要面向海量终端的数据应用。若存储容量不足可能对模型性能产生影响。

  浪潮信息存储产品线副总经理刘希猛近日在广州表示,现阶段大模型以文本型的单模态为主,但是随着大模型与各个行业相结合,会加速多模态的发展,那么数据类型将日益增加,从文本到图片、音频、视频进行拓展,数据量也将大幅增加,预计会从纯文本型的几个TB(太字节、1TB=1024GB)向多模态的PB级(拍字节、1PB=100万GB)容量迈进,这对存储的架构、性能等核心能力提出更高要求。

  与此同时,大语言模型需要通过处理大量数据,进行反复迭代,并根据用户终端输入的信息进行推理答复,在此过程中再进行重新训练。“这相当于神经网络的闭环的训练。”刘希猛说,大语言模型需要大量的存储容量来存储模型的参数和中间结果,以便在推理期间快速响应查询,“海量用户终端的接入,对数据推理和网络时延提出高挑战”。

  以智慧医疗为例,随着医疗影像设备越来越精密、精细,对数据存储平台带来了挑战。一方面医院影像数据增长快速,每年可产生并需要长期保存上亿张影像,另一方面,影像访问实时性要求高,对存储带宽提出了挑战,如果性能不够,医生调阅影像就容易出现卡顿、*,影响阅片体验。

  预计至今年内,实时数据将占全球数据圈25%的份额。面对千行百业的海量多态的数据场景,企业需要化繁为简的极致存储。新一代分布式融合存储在广州推出,率先实现了一套集*系统同时支持文件、对象、大数据、视频四种协议,实现数据融合。

  作为一种能够从巨量数据中学习对象的特征利用现有文本、图像或音频文件创建新内容的技术,AIGC将进一步发展,在生命科学、医疗健康、制造、材料科学、媒体、娱乐、汽车、能源等行业得到广泛应用。

  “越往大模型的方向走,的确需要更大的数据量增强推理、创意和演绎方面的能力。”浪潮信息存储产品线总经理李辉说,此外,随着智算时代发展,各个行业需要提升数据资产保护意识,数据中心灾备能力需要提升。据介绍,得益于技术创新,浪潮信息分布式存储已在通信、金融、能源、科研等关键行业批量应用。(完)(中国新闻网)

以上就是【业内人士:大模型催生多样化数据处理 数据存储面临新要求】的相关内容,查看其它ai资讯请关注微咔网

服务及版权声明

根据二〇〇二年一月一日《计算机软件保护条例》第十七条规定:为了学习和研究软件内含的设计思想和原理,通过安装、显示、传输或者存储软件等方式使用软件的,可以不经软件著作权人许可,不向其支付报酬。

本网站所有发布的源码、软件和资料,均为作者提供或网友推荐收集各大资源网站整理而来,仅供功能验证和学习研究使用。

所有资源的文字介绍均为网络转载,本站不保证相关内容真实可信,同时不保证所有资源100%无错可用,也不提供相应的技术支持,介意勿下。

您必须在下载后24小时内删除,不得用于非法商业用途,不得违反国家法律,一切关于该资源的商业行为与本站无关。

如果您喜欢该程序,请支持正版源码,得到更好的正版服务。、如有侵犯你的版合法权益,请邮件与我们联系处理【投诉/建议发送至邮箱:3066548754@qq.com】,本站将立即改正并删除。

本声明为本站所有资源最终声明,所有与本声明不符的表述均以本声明内容为准。


微咔网 » 业内人士:大模型催生多样化数据处理 数据存储面临新要求
享更多特权,建议使用 QQ 登录
喜欢我嘛?喜欢就按“ctrl+D”收藏我吧!♡