认知神经科学中实现多模态研究的几种方法
关注“心仪脑”查看更多脑科学知识的分享。
关键词：多模态、认知神经科学
1.引言
近年来，多模态(Multimodal)的概念在各行各业日渐升温，但由于其概念的相对复杂以及其概念在不同行业中都有各自不同方向的泛化，导致很多人对多模态还仅仅停留在耳熟的阶段。下面将结合本人的一些拙见和大家聊一聊什么是多模态，多模态研究如何进行。
2.概念
首先，我们需要搞清楚什么是模态(Modality)。这是一个非常复杂的概念,广义上说,一个模态即一个符号系统借助一个特定的感知过程而被识解。
仔细研究这个概念我们会发现模态这个词的词性其实更偏向是一个动词，而动词普遍有一个特点：通常该动词的主体和客体或者是包括主客体在内的语境会与动词同时出现。而且如果强制剥离一个动词的主客体或者相关语境，我们很难完整且具体的描述该动词的含义。例如 “打”这个词，在结合不同客体时会呈现不同的含义：“打人”、“打球”、“打车”甚至是“打一壶开水”。这也就是为什么我们在单独去理解模态这个概念的时候会感觉空、泛。
故而，为了更直观的理解和应用，我们需要同时把定义与其主客体结合起来，即谁来识解以及谁被识解。例如人作为主体，该定义与人的感觉通道相结合可得出视觉模态、听觉模态等不同的模态；而若计算机作为主体，则同理可结合不同的信息获取方式得出各种不同的模态。
理解以上概念之后，多模态顾名思义，就是指多个模态的整合。
3.认知神经科学领域的多模态
认知神经科学领域的研究中，实验数据的采集一般为以下模式：
那么结合上节的概念我们可以发现，整个过程中有两个阶段会涉及到模态：
①是被试接收刺激信息的过程，②是记录电脑记录被试状态的过程。在①中主体是被试，客体是刺激信息，而模态则是被试的感觉通道；在②中主体是记录电脑，客体是被试状态，而模态则是记录手段。我们常说的多模态研究就是①和②至少有一个阶段的模态不是单一的。
4.如何实现
第①阶段的多模态实现的重难点主要集中在实验设计上，这里不过多表述；第②阶段的多模态实现的重难点主要集中在实验系统的搭建上，接下来我们详细讨论一下这个部分。
记录手段多，则必然伴随着记录设备多，这么多的记录设备搭建到一起需要解决很多问题，其中最核心的问题是如何让这些设备的数据对齐，也就是说如何让这些设备保持同步，我们通常采用同步Mark来解决同步问题。
4.1.根据同步Mark来源不同我们可以将设备的同步分为两类：
4.1.1内部协同：各记录设备相互之间进行同步Mark的收发。
例如：眼动仪向脑电发送Mark或者眼动仪同时向脑电和多导仪发送Mark。
要求：
a.所有使用的记录设备中有一套记录设备可以发送Mark，其余设备均需要可以接收Mark。
b.若是一套设备向其他多套设备同时发送Mark，则需要一个信号分发装置（同步盒）对信号进行分发。
4.1.2外部指挥：由其他软硬件（一般是软件）同时向各个记录设备发送Mark。
例如：E-Prime同时向脑电和眼动仪发送Mark。
要求：所有设备均需要可以接收Mark。
4.2.一套记录设备一般分为硬件和软件两个部分，根据Mark收发方式可以将同步分为两类：
4.2.1硬件发硬件收
4.2.2软件发硬件收
Ps：由于软件的特性和系统延迟等多方面的因素考虑，一般不通过软件接收Mark，这里不详细展开讲。
可能有些人看到这里还是懵，下面通过一个形象的比方，辅助大家理解整个过程：我们可以把一套记录设备想象成一个行动小组，每个行动小组两名成员（硬件和软件），现在多个行动小组分开、协同完成一个任务，为确保任务进行的一致性，大家在行动过程中需要对表（时间对齐）。对表这个事情可以行动小组之间自己完成（4.1.1）也可以再找个人来进行指挥（4.1.2）。另外，为了保证对表这件事情可以进行，必须要求每个行动小组都有至少一个成员具备对外沟通的能力：能听（可以接收Mark）或者能说（可以发送Mark），如果某一个小组既不能听又不会说，那么他们将无法告诉别人他们表上的时间，也无法知道别人表上的时间，则对表工作无法进行。
5.写在最后
以上内容，结合大量的个人理解，希望通过通俗易懂的方式将什么是多模态、认知神经科学领域的多模态是怎么样进行研究的，这些多模态研究如何实现等问题阐述清楚。也正因为有大量的个人理解，故可能存在理解不到位甚至理解偏颇之处，若有读者发现欢迎留言进行斧正。
全文完结，整理不易，看不完记得收藏，最后希望点赞支持一下！
了解更多，请关注“心仪脑”公众号！
认知神经科学中实现多模态研究的几种方法相关推荐
- react把表格渲染好ui_在React中实现条件渲染的7种方法
借助react,我们可以构建动态且高度交互的单页应用程序,充分利用这种交互性的一种方法是通过条件渲染. 条件渲染一词描述了根据某些条件渲染不同UI标签的能力.在react文档中,这是一种根据条件渲染不 ...
- 将uni-app打包的H5放在 Android程序中在 webview 显示的两种方法
将uni-app打包的H5放在 Android程序中在 webview 显示的两种方法 前言 Hash History 完事 前言 之前有个项目要同时做小程序和APP,本着节省时间的想法,研究了下un ...
- C#中判断空字符串的3种方法性能分析【月儿原创】
C#中判断空字符串的3种方法性能分析 作者:清清月儿 主页:http://blog.csdn.net/21aspnet/ 时间:2007.4.28 3种方法分别是:string ...
- java 中lock,java中lock获取锁的四种方法
在java接口中会存放着许多方法,方便线程使用时的直接调用.对于lock接口大家都不陌生,我们已经初步对概念进行了理解.那么在获取锁的方法上想必还不是很清楚.下面我们就lock获取锁的四种方法分别进行 ...
- Struts2中action接收参数的三种方法及ModelDriven跟Preparable接口结合JAVA反射机制的灵活用法...
Struts2中action接收参数的三种方法及ModelDriven跟Preparable接口结合JAVA反射机制的灵活用法 www.MyException.Cn 发布于:2012-09-15 ...
- Linux系统中运行.sh文件的几种方法
在Linux系统中执行.sh文件的几种方法: 1. cd到.sh文件所在的目录,然后执行./xxx.sh [前提:该./sh文件要有可执行的权限,chmod u+x xxx.sh] 2. 在任何 ...
- Linux中执行shell脚本的4种方法
这篇文章主要介绍了Linux中执行shell脚本的4种方法总结,即在Linux中运行shell脚本的4种方法,需要的朋友可以参考下. bash shell 脚本的方法有多种,现在作个小结.假设我们编写 ...
- python csv库,Python 中导入csv数据的三种方法
Python 中导入csv数据的三种方法,具体内容如下所示: 1.通过标准的Python库导入CSV文件: Python提供了一个标准的类库CSV文件.这个类库中的reader()函数用来导入CSV文 ...
- js 改变change方法_Linux 中改变主机名的 4 种方法 | Linux 中国
今天,我们将向你展示使用不同的方法来修改主机名.你可以从中选取最适合你的方法.-- Magesh Maruthamuthu 昨天我们已经在我们的网站中写过如何在 Linux 中修改主机名的文章[1]. ...
最新文章
- Python:Selenium和PhantomJS
- 获取 metadata 的完整例子 - 每天5分钟玩转 OpenStack（166）
- 项目集跟进计划_项目延期，项目经理应该如何补救？
- numpy.negative详解
- 评分卡建模—拒绝推断
- 请问一个表的update能同时触发两个触发器吗？
- hdu 1286 找新朋友 欧拉函数模版题
- 容器编排技术 -- kubernetes 通过环境变量向容器暴露 Pod 信息
- “猫癣”集团借IE7新漏洞再掀风浪
- 鲲云获数千万A轮融资：开发全球首颗数据流AI芯片，实现数据流架构的创新突破！
- 合肥信息技术职业学院计算机模拟考试准考证,【通知】全国计算机等级考试模拟测试通知...
- logistics 与最大熵模型原理及python代码实现
- python3扬州大学校园网认证登录与下线
- finereport java无符合资料_Java报表工具FineReport常见的数据集报错错误代码和解释...
- 实战 用Python放一场浪漫的烟花秀
- 腹有诗书气自华——记环宇通软CEO骆永华 1
- vscode启动Python调试 找不到指定模块
- 建议收藏！仓库规划与布局设计整体方案
- 蓝桥杯部分题型（奇怪的比赛，电话号码，palindrome）
- Spring Boot缓存实战 Redis 设置有效时间和自动刷新缓存，时间支持在配置文件中配置