IT之家 5 月 9 日消息，Meta 公司发布了一个新的开源人工智能模型 ImageBind，该模型能够将多种数据流，包括文本、音频、视觉数据、温度和运动读数等整合在一起。该模型目前只是一个研究项目，还没有直接的消费者或实际应用，但它展示了未来生成式人工智能系统的可能性，这些系统能够创造出沉浸式、多感官的体验。同时，该模型也表明了 Meta 公司在人工智能研究领域的开放态度，而其竞争对手如 OpenAI 和谷歌则变得越来越封闭。
该研究的核心概念是将多种类型的数据整合到一个*索引（或用人工智能术语来说，“嵌入空间”）中。这个概念可能有些抽象，但它正是近期生成式人工智能热潮的基础。例如，人工智能图像生成器，如 DALL-E、Stable Diffusion 和 Midjourney 等，都依赖于在训练阶段将文本和图像联系在一起的系统。它们在寻找视觉数据中的模式的同时，将这些信息与图像的描述相连。这就是为什么这些系统能够根据用户的文本输入生成图片。同样的道理也适用于许多能够以同样方式生成视频或音频的人工智能工具。
Meta 公司称，其模型 ImageBind 是第一个将六种类型的数据整合到一个嵌入空间中的模型。这六种类型的数据包括：视觉（包括图像和视频）；热力（*图像）；文本；音频；深度信息；以及有趣的一种 —— 由惯性测量单元（IMU）产生的运动读数。（IMU 存在于手机和智能手表中，用于执行各种任务，从手机从横屏切换到竖屏，到区分不同类型的运动。）
未来的人工智能系统将能够像当前针对文本输入的系统一样，交叉引用这些数据。例如，想象一下一个未来的虚拟现实设备，它不仅能够生成音频和视觉输入，还能够生成你所处的环境和物理站台的运动。你可以要求它模拟一次漫长的海上旅行，它不仅会让你置身于一艘船上，并且有海浪的声音作为背景，还会让你感受到甲板在脚下摇晃和海风吹拂。
Meta 公司在博客文章中指出，未来的模型还可以添加其他感官输入流，包括“触觉、语音、气味和大脑功能磁共振成像信号”。该公司还声称，这项研究“让机器更接近于人类同时、全面、直接地从多种不同的信息形式中学习的能力。”
当然，这很多都是基于预测的，而且很可能这项研究的直接应用会非常有限。例如，去年，Meta 公司展示了一个人工智能模型，能够根据文本描述生成短而模糊的视频。像 ImageBind 这样的研究显示了未来版本的系统如何能够整合其他数据流，例如生成与视频输出匹配的音频。
对于行业观察者来说，这项研究也很有趣，因为IT之家注意到 Meta 公司是开源了底层模型的，这在人工智能领域是一个越来越受到关注的做法。
以上就是【Meta 开源多感官人工智能模型，整合文本、音频、视觉等六类数据】的相关内容，查看其它ai资讯请关注微咔网
根据二〇〇二年一月一日《计算机软件保护条例》第十七条规定：为了学习和研究软件内含的设计思想和原理，通过安装、显示、传输或者存储软件等方式使用软件的，可以不经软件著作权人许可，不向其支付报酬。
本网站所有发布的源码、软件和资料，均为作者提供或网友推荐收集各大资源网站整理而来，仅供功能验证和学习研究使用。
所有资源的文字介绍均为网络转载，本站不保证相关内容真实可信，同时不保证所有资源100%无错可用，也不提供相应的技术支持，介意勿下。
您必须在下载后24小时内删除，不得用于非法商业用途，不得违反国家法律，一切关于该资源的商业行为与本站无关。
如果您喜欢该程序，请支持正版源码，得到更好的正版服务。、如有侵犯你的版合法权益，请邮件与我们联系处理【投诉/建议发送至邮箱：3066548754@qq.com】，本站将立即改正并删除。
本声明为本站所有资源最终声明，所有与本声明不符的表述均以本声明内容为准。
微咔网 » Meta 开源多感官人工智能模型，整合文本、音频、视觉等六类数据
