处理过脑电数据的朋友肯定都听说过BCI2000,BCI2000是用于脑机接口(BCI)研究的通用软件系统。BCI2000包括软件工具,可以获取和处理数据,呈现刺激和反馈,并管理与机械臂等外部设备的交互。BCI2000是一个实时系统,可以将脑电图和其他信号与各种生物信号和输入设备(如鼠标或眼球追踪器)同步。它有几个模块来管理常用文件格式的数据导入和导出。BCI2000可以在大多数Windows系统上运行,源代码可以在大多数Windows机器上编译。

本文开发了一个名为BCI2000Web的服务器和过滤器模块,可以实现浏览器和BCI2000发行版之间的实时直接通信,促进许多新颖的应用程序。 本文还提出了一个JavaScript模块bci2k.js,允许Web开发人员以易于使用和直观的方式使用此界面创建范式和可视化。

网页浏览器技术的广泛采用和进步使其成为BCI平台的有吸引力的目标。我们在浏览器上可以很轻易地获取资源,如带有应用程序编程接口(API)的图形硬件和加速测量/系统传感器,这些传感器基于易于使用且功能强大且性能的JavaScript软件包。网络支持的服务还实现公开可用的API,允许开发人员调用远程计算资源,如亚马逊网络服务(AWS),或从维基百科和谷歌图像搜索等庞大的索引知识数据库中查询信息。此外,还开发了许多支持用户界面可视化演示和数据可视化的库。

现代网络浏览器中现成的许多技术可用于开发当代BCI——例如,通过WebSpeech API使用语音转录实时标记数据的能力,或通过WebVR和D3.js使用虚拟现实耳机以3D形式呈现刺激的能力。Three.js是一个尽可能简化在网页端获取3D 内容的库。D3.js经常会和WebGL混淆,D3.js其实是使用WebGL来绘制三维效果的。 WebGL是一个只能画点、线和三角形的非常底层的系统,想要用WebGL来做一些实用的东西通常需要大量的代码, 这就是D3.js的用武之地。它帮我们处理了像场景、灯光、阴影、材质、贴图、空间运算、几乎所有你需要自己通过WebGL来实现的东西。

D3.js可以将我们的数据可视化,甚至使用WebAudio API进行超声化,可以帮助我们实时理解数据。现有的BCI软件套件通常提供一定数量的进程间通信,通常通过用户数据报协议user datagram protocol (UDP)或共享内存公开。然而,出于安全考虑,浏览器通常不允许Web应用程序原生访问UDP;此外,BCI2000的AppConnector接口等现有通信方案不能很好地扩展到高数据量。BCI2000现有的进程间通信工具在设计时考虑到了控制信号的传输,为了简单起见,使用ASCII而不是二进制来通信信号,代价是将数据速率膨胀到8倍-这种方法是成功的,直到需要传输原始和处理过的ECoG数据流。现代浏览器实现了一种建立在TCP之上的协议,称为WebSocket (Fette, 2011),它允许HTTP客户端将现有连接升级为通用的实时双向二进制/ASCII通信接口。WebSockets非常适合于将原始大脑信号、提取的神经特征和处理的控制信号从BCI软件套件传输到支持浏览器的设备上的web应用程序,以及将辅助传感器信息从web应用程序传输回本机软件套件,所有这些都是实时的。在本文中,我们将上述接口的实现作为BCI2000的插件,我们称之为BCI2000Web。

本文将以呈现癫痫患者发病原理来展示BCI2000Web的使用。

运动性语言中枢,又叫说话中枢,是语言中枢的一部分。运动性语言中枢位于大脑中的44及45区,紧靠中央前回下部,额下回后三分之一处,又称布若卡氏区。如果此区受损,会产生表达性失语症。能分析综合与语言有关肌肉性刺激。此处受损,病人与发音有关的肌肉虽未瘫痪,却丧失了说话的能力,临床上称运动性失语症(表达性失语症)。

癫痫症是一种影响大脑并导致频繁癫痫发作的常见疾病。癫痫发作是大脑中电流活动的爆发,会暂时影响大脑的工作方式。它们会引起多种症状。癫痫可以发生在任何年龄,但通常发生在儿童时期或60岁以上的人。

癫痫会以不同的方式影响人们,这取决于大脑的哪个部分。可能的症状包括:

•无法控制的抽搐和颤抖,称为“发作”

•失去意识,茫然地盯着太空

•变得僵硬

•奇怪的感觉,比如肚子里“隆起”的感觉,不寻常的气味或味道,胳膊或腿上的刺痛感

•崩溃

•有时你可能会昏过去,不记得发生了什么。

雄辩皮层的功能映射是具有巨大科学和临床影响的目标应用。大约三分之一的癫痫患者癫痫发作对药物治疗有抗药性。在其中许多患者中,癫痫发作来自局灶性大脑区域,如果可以安全地切除该区域,就可以实现癫痫发作控制。当非侵入性测试无法可靠地识别癫痫发作区与正常神经功能所需的大脑区域不同时,临床医生可以选择在大脑深处(立体-EEG)或其表面(电皮质图或ECoG)手术植入电极。这些颅内电极可以植入一周或更长时间,以便可靠地定位癫痫发作的发作。这些电极还有助于识别雄辩的皮层,即与言语和语言以及感知、运动和其他重要大脑功能相关的区域。一种称为电皮质刺激映射(ESM)的技术通常用于映射这些区域。在ESM期间,在植入的电极对之间传递电流脉冲系统,以便在患者执行简单的语言或运动任务时暂时禁用一小块皮层。这种暂时性病变引起的行为变化表明,大脑的刺激区域是完成任务所必需的。但是这种测试程序对患者来说既费时又很不舒服,且出院后依旧有可能会癫痫发作。

ESM的局限性激发了一种互补的映射技术,该技术基于对行为任务期间ECoG或立体EEG被动记录的功率谱(特别是在高频)中与任务相关的变化的估计。这种映射技术,以下简称ECoG功能映射,生成与任务相关的皮层激活地图,其中可能包括任务招募但对任务性能不重要的皮层。相比之下,ESM使用皮层功能的暂时电生理破坏来模拟组织切除的急性行为影响,并被认为特定于对任务表现至关重要的区域。尽管如此,一些临床研究表明,ECoG功能映射和ESM之间存在良好的对应关系。此外,几项研究表明,ECoG功能映射可用于预测切除后的神经损伤,在某些情况下,它预测了ESM没有预测的损伤。由于这些原因,一些癫痫手术中心已经开始使用ECoG功能映射作为ESM的补充,有时提供皮层功能的初步地图,以指导ESM的使用。然而,由于缺乏技术资源,特别是可用于临床脑电图监测系统的软件,大多数癫痫中心尚未采用ECoG功能映射。近年来开发了几个ECoG功能映射包。例如,SIGFRIED在校准块中获得了神经活动的大量基线分布,然后通过平均行为在时间块中引发的神经活动来快速积累皮层激活的估计值。一种名为cortiQ的商业产品能够执行这种基于块的映射范式,这使得训练有素的临床专业人员能够进行被动ECoG映射。(SIGFRIED和cortiQ都是使用BCI2000框架构建的)

BCI2000环境是一个通用计算框架,通常用于构建BCI,基于四个二进制可执行文件:信号源模块,从受支持的放大器获取生理数据;信号处理模块,提取神经特征并将这些特征转换为控制信号;应用程序模块,对这些控制信号做出反应并向主体提供反馈;以及运算符模块,负责协调系统所有三个功能子模块的行为。信号从源模块传播到处理模块到应用程序模块,通过基于网络的协议(在旧版本的BCI2000中)或共享内存接口(在最近的迭代中)促进互联。每个模块都由一系列信号“过滤器”组成,这些过滤器接受传入的信号(作为逐个通道数组),并输出一个具有不同维度的派生信号。内置的运算符脚本语言允许在实验会话中自动设置和配置过滤器,操作员模块中存在Telnet接口,能够从BCI2000外部接受运算符脚本语言的文本命令。

笔者认为,仔细阅读这篇论文之后,其实不难想象出一种系统架构,其中用户的神经数据被发送到与服务器后端实时通信的浏览器应用程序,允许基于云的服务应用复杂的机器学习技术进行分析处理,更进一步,人们可以开发一个基于浏览器的应用程序,将多个用户的神经数据传输给彼此的客户,从而促进基于大脑的通信。由于专注于前端用户交互,许多软件包都是用JavaScript编写的,这些软件包支持交互式应用程序和可视化的快速实现。公共JavaScript API允许丰富的BCI交互,实验范式可以利用谷歌图像搜索等网络资源,在运行时提供各种量身定制的刺激。跨设备兼容性是将浏览器用作可视化和刺激演示平台的另一个优势。任何支持浏览器的设备(智能手机、平板电脑、PC甚至游戏机)都可以用于呈现刺激或可视化输出。由于这种“写完代码就能运行”的开发过程,临床医生可以使用WebFM从患者房间外的智能手机上实时查看映射结果,而ECoG功能映射由技术人员运行。

参考:

BCI2000Web and WebFM: Browser-Based Tools for Brain Computer Interfaces and Functional Brain Mapping

订阅脑机接口圈,解锁更多脑机资源

BCI VIP

订阅脑机智库 - BCI+X(意念控制、情感脑机、AR、VR......),解锁更多内容。


仅用于学术分享,若侵权请留言,即时删侵!

更多阅读

意识在大脑中什么位置?新发现有助于确定其位置

2022年度脑机接口领域研究、资讯汇总

基于脑机接口的闭环运动想象脑电图仿真

中国工程院《全球工程前沿2022》重磅发布!

吃饭不用你自己动手,让基于脑机接口的机器人辅助你

Nature:重磅!人类一生中的脑图形态变化

加入社群

欢迎加入脑机接口社区交流群,

探讨脑机接口领域话题,实时跟踪脑机接口前沿。

加微信群:

添加微信:RoseBCI【备注:姓名+行业/专业】。

加QQ群:913607986

欢迎来稿

1.欢迎来稿。投稿咨询,请联系微信:RoseBCI

2.加入社区成为兼职创作者,请联系微信:RoseBCI

点个在看祝你开心一整天!

这款软件可以将大脑活动实时呈现在网页上相关推荐

  1. 用友nc登陆提示java_用友NC软件无法进入登陆界面,提示“网页上有错误”等现象   问题现象...

    用友NC软件无法进入登陆界面,提示"网页上有错误"等现象 问题现象 可以打开web界面,但无法进入登陆界面,页面左下角提示"网页上有错误",或提示java相关错 ...

  2. 设计师超爱用的六款软件

    对于设计师来说,拥有一款或多款用起来非常好用,使用起来非常顺手设计软件进行工作,不仅能够有效的提高设计效率,还能提高工作感受,这样一来工作质量变高,月薪5W+不是梦!毕竟如果工作起来磕磕绊绊的话,很容 ...

  3. 安卓手机怎么设置蓝牙耳机弹窗动画_AirPods耳机也能在安卓手机与windows系统里,有超赞的体验,只需这两款软件...

    AirPods刚发布,就被吐槽是绿豌豆,网友调侃它是植物大战僵尸里豌豆也不是空穴来风.看这造型.不过很多网友在实际上手体验里,却发出真香警告,看来万物都无法离开真香定律啊.AirPods 的这种真香定 ...

  4. 手机同声传译软件有哪些?推荐四款软件实时翻译软件

    小伙伴们有时候会在街上或者旅游景点遇到外国人吗?他们有可能向我们问路.问好玩的地方.问美食推荐等等,但如果我们因为外语水平不好,而导致语言不通,很难跟他们进行交流,这个时候应该怎么办呢?其实可以借助手 ...

  5. 让瘫痪失语患者「说话」,脑机接口首次从大脑活动解码完整句子,登上新英格兰医学杂志...

    视学算法报道 转载自:机器之心 编辑:杜伟.陈萍 Facebook 与加州大学旧金山分校(UCSF)Chang Lab 的脑机接口项目 Project Steno 取得了最新进展,该研究通过解码从运动 ...

  6. 大脑活动与认知: 热力学与信息论的联系

    来源:集智俱乐部 作者:Guillem Collell.Jordi Fauquet 译者:张澳 审校:刘培源 编辑:邓一雪 导语 信息和能量之间的关系已经在物理学.化学和生物学中得到了广泛的研究.然而 ...

  7. 这6款软件,让你的工作效率提升90%!

    随着互联网的快速发展,人们在工作生活中对手机和电脑的依耐越来越强.在这样的生活节奏中,[效率]成为了人们共同关注的话题. 老板想要员工提高工作效率把事情做得又好又快,而员工呢,也想把工作效率提起来,让 ...

  8. UI想设计得好,这几款软件少不了

    设计是把一种设想通过合理的规划.周密的计划.通过各种方式表达出来的过程.人类通过劳动改造世界,创造文明,创造物质财富和精神财富,而最基础.最主要的创造活动是造物.设计也分为好多种类,有平面设计.标志设 ...

  9. 让人放松心情的六款软件

    这次推荐的软件里面有打发时间.锻炼脑力的游戏,有免费且适合快速阅读流书,还有女性朋友最爱的拍照.录制神器哟!快来一起看看吧! TXT英语小说 通过原版的小说来学习英文,你有试过吗?这是最便捷的原版小说 ...

最新文章

  1. 用java创建一个简单的服务器
  2. 互联网产品的灰度发布
  3. 五分钟完成 ABP vNext 通讯录 App 开发
  4. 艾媒:ofo活跃用户规模为摩拜近2倍 每10辆共享单车7辆小黄车
  5. 懒惰是人类进步的动力,勤奋是实现偷懒的途径
  6. 一个有趣的.net程序死锁问题
  7. 苹果手机计算机切换用户名,苹果ID如何切换账号?苹果手机切换ID登录使用教程...
  8. el-table展示枚举值
  9. 拟杆菌预防肺炎克雷伯菌定殖和传播
  10. 《那些年啊,那些事——一个程序员的奋斗史》——19
  11. 谷歌搜索中一些十分有趣的特效现象
  12. 《神经网络与深度学习》中文版推荐
  13. mysql时间戳与PHP时间戳,php – 当mysql时间戳gt; 20分钟时删除时间戳比较
  14. remix中错误集合
  15. Java毕设项目户籍管理系统(java+VUE+Mybatis+Maven+Mysql)
  16. 【计算机网络】第三部分 数据链路层(11) 数据链路控制
  17. 电脑桌面分类管理软件--酷呆桌面、腾讯桌面
  18. dubbo-admin在jdk1.8下报错问题(已解决)
  19. 如何进行代码REVIEW
  20. 使用Teleport pro整站下载相关问题

热门文章

  1. 黑马程序员 JAVA基础学习笔记
  2. 光伏电站监控系统实时监控保障安全运维
  3. 硅胶与橡胶:哪种密封更好?
  4. java数据结构与算法第一课——绪论
  5. ECMAScript 6中数组新方法
  6. python蒙特卡洛模拟抢红包(附源码),可用于课堂展示(presentation)
  7. 客户逾期贷款预测[6] - 网格搜索调参和交叉验证
  8. 泛微E9二次开发,用计划任务定时发送邮件提醒
  9. [数据结构与算法] 串,数组和广义表
  10. 数据库的基本操作——建库、删库、建表、删表等