CVPR2023 | 大脑视觉信号被Stable Diffusion复现图像!“人类的谋略和谎言不存在了”...
点击上方“视学算法”,选择加"星标"或“置顶”
重磅干货,第一时间送达
丰色 萧箫 发自 凹非寺
量子位 | 公众号 QbitAI
“现在Stable Diffusion已经能重建大脑视觉信号了!”
就在昨晚,一个听起来细思极恐的“AI读脑术”研究,在网上掀起轩然大波:
这项研究声称,只需用fMRI(功能磁共振成像技术,相比sMRI更关注功能性信息,如脑皮层激活情况等)扫描大脑特定部位获取信号,AI就能重建出我们看到的图像!
例如这是一系列人眼看到的图像,包括戴着蝴蝶结的小熊、飞机和白色钟楼:
AI看了眼人脑信号后,立马就给出这样的结果,属实把该抓的重点全都抓住了:
再发展一步,这不就约等于哈利波特里的读心术了吗??
更有网友感到惊叹:如果说ChatGPT开放API是件大事,那这简直称得上疯狂。
所以,这究竟是怎么一回事?
用Stable Diffusion可视化人脑信号
这项研究来自日本大阪大学,目前已经被CVPR 2023收录:
研究希望能从人类大脑活动中,重建高保真的真实感图像,来理解大脑、并解读计算机视觉模型和人类视觉系统之间的联系。
要知道,此前虽然有不少脑机接口研究,致力于从人类大脑活动中读取并重建信号,如意念打字等。
然而,从人类大脑活动中重建视觉信号——具有真实感的图像,仍然挑战极大。
例如这是此前UC伯克利做过的一项类似研究,复现一张人眼看到的飞机片段,但计算机重建出来的图像却几乎看不出飞机的特征:
△图源UC伯克利研究Reconstructing Visual Experiences from Brain Activity Evoked by Natural Movies
这次,研究人员重建信号选用的AI模型,是这一年多在图像生成领域地位飞升的扩散模型。
当然,更准确地说是基于潜在扩散模型(LDM)——Stable Diffusion。
整体研究的思路,则是基于Stable Diffusion,打造一种以人脑活动信号为条件的去噪过程的可视化技术。
它不需要在复杂的深度学习模型上进行训练或做精细的微调,只需要做好fMRI(功能磁共振成像技术)成像到Stable Diffusion中潜在表征的简单线性映射关系就行。
它的概览框架是这样的,看起来也非常简单:
仅由1个图像编码器、1个图像解码器,外加1个语义解码器组成。
具体怎么work?
如下图所示,第一部分为本研究用到的LDM示意图。
其中ε代表图像编码器,D代表图像解码器,而τ是一个文本编码器(CLIP)。
重点是解码分析,如下图所示,模型依次从大脑早期(蓝色)和较高(黄色)视觉皮层内的fMRI信号中,解码出重建图像(z)和相关文本c的潜在表征。
然后将这些潜在表征当作输入,就可以得到模型最终复现出来的图像Xzc。
最后还没有完,如编码分析示意图,作者还构建了一个编码模型,用来预测LDM不同组件(包括图像z、文本c和zc)所对应的fMRI信号,它可以用来理解Stable Diffusion的内部过程。
可以看到,采用了zc的编码模型在大脑后部视觉皮层产生的预测精确度是最高的。(zc是与c进行交叉注意的反向扩散后,z再添加噪声的潜在表征)
相比其它两者,它生成的图像既具有高语义保真度,分辨率也很高。
还有用GAN重建人脸图像的
看完这项研究,已经有网友想到了细思极恐的东西:
这个AI虽然只是复制了“眼睛”所看到的东西。
但是否会有一天,AI能直接从人脑的思维、甚至是记忆中重建出图像或文字?
“语言的用处不再存在了”
于是有网友进一步想到,如果能读取记忆的话,那么目击证人的证词似乎也会变得更可靠了:
还别说,就在去年真有一项研究基于GAN,通过fMRI收集到的大脑信号重建看到的人脸图像:
不过,重建出来的效果似乎不怎么样……
显然,在人脸这种比较精细的图像生成上,AI“读脑术”还有很长一段路要走。
对于这种大脑信号重建的研究,也有网友提出了质疑。
例如,是否只是AI从训练数据集中提取出了相似的数据?
对此有网友回复表示,论文中的训练数据集和测试集是分开的:
作者们也在项目主页中表示,代码很快会开源。可以先期待一下~
作者介绍
本研究仅两位作者。
一位是2021年才刚刚成为大阪大学助理教授的Yu Takagi,他主要从事计算神经科学和人工智能的交叉研究。
最近,他同时在牛津大学人脑活动中心和东京大学心理学系利用机器学习技术,来研究复杂决策任务中的动态计算。
另一位是大阪大学教授Shinji Nishimoto,他也是日本脑信息通信融合研究中心的首席研究员。
研究方向为定量理解大脑中的视觉和认知处理,谷歌学术引用3000+次。
那么,你觉得这波AI重建图像的效果如何?
项目地址:
https://sites.google.com/view/stablediffusion-with-brain/
参考链接:
[1]https://twitter.com/SmokeAwayyy/status/1631474973243236354
[2]https://twitter.com/blader/status/1631543565305405443
[3]https://news.berkeley.edu/2011/09/22/brain-movies/
[4]https://www.nature.com/articles/s41598-021-03938-w
— 完 —
点个在看 paper不断!
CVPR2023 | 大脑视觉信号被Stable Diffusion复现图像!“人类的谋略和谎言不存在了”...相关推荐
- Stable Diffusion - Stable Diffusion WebUI 图像生成工具的环境配置
欢迎关注我的CSDN:https://spike.blog.csdn.net/ 本文地址:https://spike.blog.csdn.net/article/details/131528224 S ...
- Stable Diffusion公司新作Gen-1:基于扩散模型的视频合成新模型,加特效杠杠的!...
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达 点击进入->[扩散模型]微信技术交流群 转载自:机器之心 | 编辑:蛋酱 从文本生成图像,再到给视频加 ...
- 2022出圈的ML研究:爆火的Stable Diffusion、通才智能体Gato,LeCun转推
机器之心报道 机器之心编辑部 这些机器学习领域的研究你都读过吗? 2022 年即将步入尾声.在这一年里,机器学习领域涌现出了大量有价值的论文,对机器学习社区产生了深远的影响. 今日,ML & ...
- 尝试 Stable Diffusion(通过Google Colab)
目标 学习通过Google Colab使用 Stable Diffusion 生成图像. 主要参考资料:Get Started With Stable Diffusion (Free) in Goog ...
- Stable Diffusion人工智能图像合成
AI 图像生成大有来头.新发布的开源图像合成模型称为Stable Diffusion,它允许任何拥有 PC 和像样的 GPU 的人想象出他们能想象到的几乎任何视觉现实.它几乎可以模仿任何视觉风格,如果 ...
- 万字长文:Stable Diffusion 保姆级教程
万字长文:Stable Diffusion 保姆级教程 2022年绝对是人工智能爆发的元年,前有 stability.ai 开源 Stable Diffusion 模型,后有 Open AI 发布 C ...
- Stable Diffusion 深度图像库插件使用小记
前言 Controlnet 横空出世以来,Stable Diffusion 从抽卡模式变为 引导控制模式,产生了质的飞跃,再也不用在prompt中钻研如何描述生成人物的动作模式,他对AI画师来说生产力 ...
- 创建好的提示词来让 Stable Diffusion 生成 AI 艺术作品图像
如何创建好的提示词来让 Stable Diffusion 生成 AI 艺术作品图像? 文章目录 Stable Diffusion 如何使用? 优秀的提示词如何制作? 主题描述 Subject 图片类型 ...
- 惊!读取大脑重建高清视频,Stable Diffusion还能这么用
金磊 发自 凹非寺 量子位 | 公众号 QbitAI 现在,AI可以把人类脑中的信息,用高清视频展示出来了! 例如你坐在副驾所欣赏到的沿途美景信息,AI分分钟给重建了出来: 看到过的水中的鱼儿.草原上 ...
最新文章
- 局部变量和static变量
- Tomcat内部结构
- 使用CmakeLists应该知道的一些知识
- 微信模版消息 touser 能否多个 群发
- nginx反向代理初探
- Django:ORM基本操作-CRUD,管理器对象objects,----->查询3(单条更新,批量更新)
- 最少点字典序最短路径_LeetCode 89,因为题目晦涩而被点了1500+反对的搜索问题...
- HMI报表设计与打印,标签、账单、支票、条码数据打印与出版VC++源码解决方案2018!
- 很全的ABAP入门资料
- 【golang】kafka
- MSF利用ms17_010实验
- java大数求三角形外心_JAVA求两直线交点和三角形内外心的方法
- 获取并处理中文维基百科语料
- You should consider upgrading via the
- “TOP面对面” 技术AMA系列第一期:揭开TOP技术团队的神秘面纱
- 机器学习天坑总结篇(TensorFlow)
- 电脑上的文件经常丢失,怎么办?
- Show一下拿的奖杯
- Unity学习笔记1 简易2D横版RPG游戏制作(一)
- python利用jieba实现中文分词