惊！读取大脑重建高清视频，Stable Diffusion还能这么用
金磊 发自 凹非寺
量子位 | 公众号 QbitAI
现在，AI可以把人类脑中的信息，用高清视频展示出来了！
例如你坐在副驾所欣赏到的沿途美景信息，AI分分钟给重建了出来：
看到过的水中的鱼儿、草原上的马儿，也不在话下：
这就是由新加坡国立大学和香港中文大学共同完成的最新研究，团队将项目取名为MinD-Video。
这波操作，宛如科幻电影《超体》中Lucy读取反派大佬记忆一般：
引得网友直呼：
推动人工智能和神经科学的前沿。
值得一提的是，大火的Stable Diffusion也在这次研究中立了不小的功劳。
怎么做到的？
从大脑活动中重建人类视觉任务，尤其是功能磁共振成像技术（fMRI）这种非侵入式方法，一直是受到学界较多的关注。
因为类似这样的研究，有利于理解我们的认知过程。
但以往的研究都主要聚焦在重建静态图像，而以高清视频形式来展现的工作还是较为有限。
之所以会如此，是因为与重建一张静态图片不同，我们视觉所看到的场景、动作和物体的变化是连续、多样化的。
而fMRI这项技术的本质是测量血氧水平依赖（BOLD）信号，并且在每隔几秒钟的时间里捕捉大脑活动的快照。
相比之下，一个典型的视频每秒大约包含30帧画面，如果要用fMRI去重建一个2秒的视频，就需要呈现起码60帧。
因此，这项任务的难点就在于解码fMRI并以远高于fMRI时间分辨率的FPS恢复视频。
为了弥合图像和视频大脑解码之间差距，研究团队便提出了MinD-Video的方法。
整体来看，这个方法主要包含两大模块，它们分别做训练，然后再在一起做微调。
这个模型从大脑信号中逐步学习，在第一个模块多个阶段的过程，可以获得对语义空间的更深入理解。
具体而言，便是先利用大规模无监督学习与mask brain modeling（MBM）来学习一般的视觉fMRI特征。
然后，团队使用标注数据集的多模态提取语义相关特征，在对比语言-图像预训练（CLIP）空间中使用对比学习训练fMRI编码器。
在第二个模块中，团队通过与增强版Stable Diffusion模型的共同训练来微调学习到的特征，这个模型是专门为fMRI技术下的视频生成量身定制的。
如此方法之下，团队也与此前的诸多研究做了对比，可以明显地看到MinD-Video方法所生成的图片、视频质量要远优于其它方法。
而且在场景连续变化的过程中，也能够呈现高清、有意义的连续帧。
研究团队
这项研究的共同一作，其中一位是来自新加坡国立大学的博士生Zijiao Chen，目前在该校的神经精神疾病多模式神经成像实验室（MNNDL_Lab）。
另一位一作则是来自香港中文大学的Jiaxin Qing，就读专业是信息工程系。
除此之外，通讯作者是新加坡国立大学副教授Juan Helen ZHOU。
据了解，这次的新研究是他们团队在此前一项名为MinD-Vis的功能磁共振成像图像重建工作的延伸。
MinD-Vis已经被CVPR 2023所接收。
参考链接：
[1]https://mind-video.com/
[2]https://twitter.com/ZijiaoC/status/1660470518569639937
[3]https://arxiv.org/abs/2305.11675
— 完 —
「AIGC行业社群」招募中！
欢迎关注AIGC的伙伴们加入AIGC行业社群，一起学习、探索、创新AIGC！
加好友请备注「AIGC」&「姓名-公司-职位」噢 ~
点这里
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达 丰色 萧箫 发自 凹非寺 量子位 | 公众号 QbitAI &quo ... 明敏 发自 凹非寺 来源 | 量子位 QbitAI 免费玩的Stable diffusion,又出新变种了! 古典人像丝滑切换,还都是4倍超分辨率水平,细节也就多了亿点点吧,眉毛发丝都根根分明. 还能 ... 汇聚每周AI观点.研究和各类资源,不错过真知灼见和重要资讯!欢迎扫码,关注并订阅智源社区AI周刊. 编辑精选 1. Stable Diffusion背后公司再融1亿美金:独辟蹊径,开源和社区驱动的AI ... 文章目录 一.环境安装 Git Python NVIDIA驱动 CUDA 安装Visual Studio 安装CUDA stable-diffusion-webui 二.Stable Diffusio ... 点击上方"芋道源码",选择"设为星标" 管她前浪,还是后浪? 能浪的浪,才是好浪! 每天 10:33 更新文章,每天掉亿点点头发... 源码精品专栏 原创 | ... 文章目录 一.Stable Diffusion简介与安装 二.文生图(提示词解析) 2.1 提示词入门 2.2 权重 2.3 负面提示词( Negative prompt) 2.4 出图参数设置 2. ... 当幻想的小说来到现实--基于stable diffusion的小说插画生成 引言 近期文生图大火,而这也激发了我曾经的玄幻小说插画梦,将玄幻带到现实,可惜本人手残,但能用ai作自己梦中的画也是不错的. ... Stable Diffusion 原理介绍与源码分析(一) 文章目录 Stable Diffusion 原理介绍与源码分析(一) 前言(与正文无关,可以忽略) 总览 说明 Stable Diffusi ... 新智元报道 编辑:LRS [导读]Stable Diffusion除了生成图像外,还能用来压缩图像! 基于文本的图像生成模型火了,出圈的不止有扩散模型,还有开源的Stable Diffusio ...惊！读取大脑重建高清视频，Stable Diffusion还能这么用相关推荐
最新文章
热门文章