Meta开源多感官大模型,AI用6种模态体验虚拟世界,元宇宙又近了

梦晨 发自 凹非寺

量子位 | 公众号 QbitAI

Meta新6模态大模型,让AI以更接近人类的方式理解这个世界。

比如当你听见倒水声的时候就会想到杯子,听到闹*会想到闹钟,现在AI也可以。

尽管画面中没有出现人类,AI听到掌声也能指出有可能来自电脑。

这个大模型ImageBind以视觉为核心,结合文本、声音、深度、热量(*辐射)、运动(惯性传感器),终可以做到6个模态之间任意的理解和转换。

如果与其他AI结合,还可以做到跨模态的生成。

比如听到狗叫画出一只狗,同时给出对应的深度图和文字描述。

甚至做到不同模态之间的运算,如鸟的图像+海浪的声音,得到鸟在海边的图像。

团队在论文中写到,ImageBind为设计和体验身临其境的虚拟世界打开了大门。

也就是离Meta心心念念的元宇宙又近了一步。

网友看到后也表示,又是一个掉下巴的进展。

ImageBind代玛已开源,相关论文也被CVPR 2023选为Highlight。

生成理解检索都能干

对于声音-图像生成,论文中透露了更多细节。

并不是让AI听到声音后先生成文字的提示词,而是Meta自己复现了一个DALL·E 2,并把其中的文本嵌入直接替换成了音频嵌入。

结果就是AI听到雨声可以画出一张雨景,听到快艇发动机启动声可以画出一条船。

其中比较有意思的是,床上没有人,但AI也认为打呼噜声应该来自床。

ImageBind能做到这些,核心方法是把所有模态的数据放入统一的联合嵌入空间,无需使用每种不同模态组合对数据进行训练。

并且用这种方法,只需要很少的人类监督。

如视频天然就把画面与声音做了配对,网络中也可以收集到天然把图像和文字配对的内容等。

而以图像/视频为中心训练好AI后,对于原始数据中没有直接联系的模态,比如语音和热量,ImageBind表现出涌现能力,把他们自发联系起来。

在定量测试中,统一多模态的ImageBind在音频和深度信息理解上也超越了对应的专用模型。

Meta团队认为,当人类从世界吸收信息时,我们天生会使用多种感官,而且人仅用极少数例子就能学习新概念的能力也来自于次。

比如人类在书本中读到对动物的描述,之后就能在生活中认出这种动物,或看到一张不熟悉的汽车照片就能预测起发动机的声音。

过去AI没有掌握这个技能,一大障碍就是要把所有可能的模态两两组合做数据配对难以实现。

现在有了多模态联合学习的方法,就能规避这个问题。

团队表示未来还将加入触觉、语音、嗅觉和大脑 fMRI,进一步探索多模态大模型的可能性

对于目前版本,Meta也放出了一个简单的在线Demo,感兴趣的话可以去试试。

Demo:

https://imagebind.metademolab.com/demo

GitHub:

https://github.com/facebookresearch/ImageBind

论文:

https://dl.fbaipublicfiles.com/imagebind/imagebind_final.pdf

参考链接:

[1]https://ai.facebook.com/blog/imagebind-six-modalities-binding-ai/

— 完 —

量子位 QbitAI · 头条号签约

以上就是【Meta开源多感官大模型,AI用6种模态体验虚拟世界,元宇宙又近了】的相关内容,查看其它ai资讯请关注微咔网

服务及版权声明

根据二〇〇二年一月一日《计算机软件保护条例》第十七条规定:为了学习和研究软件内含的设计思想和原理,通过安装、显示、传输或者存储软件等方式使用软件的,可以不经软件著作权人许可,不向其支付报酬。

本网站所有发布的源码、软件和资料,均为作者提供或网友推荐收集各大资源网站整理而来,仅供功能验证和学习研究使用。

所有资源的文字介绍均为网络转载,本站不保证相关内容真实可信,同时不保证所有资源100%无错可用,也不提供相应的技术支持,介意勿下。

您必须在下载后24小时内删除,不得用于非法商业用途,不得违反国家法律,一切关于该资源的商业行为与本站无关。

如果您喜欢该程序,请支持正版源码,得到更好的正版服务。、如有侵犯你的版合法权益,请邮件与我们联系处理【投诉/建议发送至邮箱:3066548754@qq.com】,本站将立即改正并删除。

本声明为本站所有资源最终声明,所有与本声明不符的表述均以本声明内容为准。


微咔网 » Meta开源多感官大模型,AI用6种模态体验虚拟世界,元宇宙又近了
享更多特权,建议使用 QQ 登录
喜欢我嘛?喜欢就按“ctrl+D”收藏我吧!♡