关注“心仪脑”查看更多脑科学知识的分享。

图片来源于漫画《工作细胞》

前几年,一部萌萌的科教动漫《工作细胞》火出二次元圈,吸引了大批成年观众开启了追番探索生物奥秘之旅,还有老师在课堂上播放动漫当教学材料,寓教于乐。

图片来源于网络

近些年,动漫和漫画逐渐摘掉“幼稚”、“纯娱乐”、“浪费时间”的污名,被更多人所接收,在学术界,开始开发有关主题的可行研究计划,而这些努力可能会融合到认知科学的一个新兴领域——视觉叙事。

视觉叙事

视觉叙事是创造具有意义意图的图像序列,通常描述一个连续的事件序列,主要是讲述一个故事。从漫画和图画书到指导手册,情节提要和信息图,绘制的图像序列无处不在。图像序列是我们最古老的人类智力记录之一,出现在洞穴壁画,墙雕和古代陶器上,视觉叙事遍布人类的文化和时代。

尽管视觉叙事看似很简单,但实际上它们涉及许多层次的结构,这些层次与认知各方面相关。下图是视觉叙事中涉及的结构模型,将叙事系统划分为表达形态(图形),使用组合系统(语法)组织,表达概念信息(含义),并跨单元和序列级别运用。

视觉叙事的结构模型(Cohn, 2019)

与文本语言不同,图像的单个图像帧可以包含跨越时间和空间的叙事信息,将我们内在地联系到角色或体验上,视觉叙事通过多模态线索讲述复杂的故事,这些线索刺激类似于大脑绘制周围世界的过程。文字,图像,颜色,空间布局,装订线,声音效果,面板组成,肢体语言和面部表情的组合都用来传达含义。这些复杂的面板创建了一种视觉语言,可以直接激活与更高级的文本理解相同的认知过程,从而实现丰富、多维的表达所呈现信息。

静态的视觉叙事通常将文本和图像结合在一起。这在构成整体含义的多个信息流之间引发了有趣的交互作用。在处理的前端(从面板/图片中提取信息并将注意力转移到面板/图片上),理解文本和图像之间的这种交互对注意和知觉系统提出要求,而这会影响读者如何在这些信息源之间进行协调。在后端,进一步的认知机制必须整合(至少)两条信息流的含义和叙述结构。

漫画a / c使用专用序列(时间顺序);而b / d使用关于气味的语义字段,可以重新排列。

近年来,漫画心理学家发现看漫画或有助于改善大脑功能。在许多文化中,儿童都是通过多模态视觉叙事初次接触阅读,多项研究表明视觉叙事可能对识字,语言学习和推理有益。有研究利用儿童对图片,漫画和图画小说的兴趣,作为发展其创造性写作能力,阅读技巧和口头表达的一种方式。研究认为儿童在阅读漫画时会采用高度复杂和结构化的叙事形式。不管他们是否意识到,他们新兴的视觉素养都会提升思维能力并发展更广泛的元认知能力。漫画不仅可以激发儿童阅读的广泛性,还可以使他们在阅读漫画、文字故事和自己的书写作品时享受更加丰富的想象世界。

视觉叙事还经常被用于诊断和治疗。长久以来,额叶的损伤已被证明会损害视觉叙事排序。最近的ERP研究表明,与正常对照组相比,自闭症谱系障碍(ASD)的个体在口语和视觉叙事中处理语义不一致(N400)的能力有所减弱。患有发展性语言障碍(以前称为特殊语言障碍)的人也表现出视觉叙事的理解和排序方面的其他缺陷。漫画作为一种语言诊断的方法,适用于语言发育迟缓,尤其是仍能熟练掌握非语言智商测试,但语法发育迟缓的儿童。

在视觉刺激中,最后一组与前面的环境一致或不一致(Cohn et al, 2018)

此外,漫画在教育环境中作为教学材料也有很长的历史,漫画作为一种直观、高效和具有趣味性的信息传达途径,可以作为一种强大而有效的学习辅助工具。

人类在处理视觉信息方面比文字快60,000倍,人类自然倾向于视觉叙事的效率。Clark和Paivio曾主张双重编码理论在教育环境中的应用。双重编码理论提出视觉和言语编码都有助于认知处理以及文本材料的整体理解和记忆。他们认为,以口头和视觉方式呈现教育材料将提高对这种材料的理解和记忆力。漫画本身就具有双重视觉原理,因为它们既具有视觉元素又具有言语元素,它们相互作用生成最终产品,是一种理想的教学材料。

此外,漫画形象生动的画面,对自闭症儿童的教育有非常积极的作用。我们大脑中的“镜像神经元”在处理面部表情等姿态时,会把它们同化成我们自己的感觉,并根据过去的经验赋予其意义,我们会想象自己在做同样的动作,并体验伴随而来的身体和情绪感受。而自闭症儿童往往无法捕捉到视觉上的情感线索,这就是为什么自闭症儿童难以与他人的感受和需求产生共鸣的原因之一。因此看漫画不仅能提高他们的阅读理解能力,还能提高他们的社交和人际交往能力。

这么看来,休闲时看科普漫画涨姿势,严肃起来用漫画搞科研也不在话下。在这新冠病毒虎视眈眈的疫情时代,宅家看漫画也不错噢。

# 参考文献

Aleixo, P. A., & Sumner, K. (2016). Memory for biopsychology material presented in comic book format. Journal of Graphic Novels and Comics, 8(1), 79-88. doi:10.1080/21504857.2016.1219957

Bowkett, S., & Hitchman, T. (2015). Using Comic Art to Improve Speaking,Reading and Writing. UKLA Literacy, 49(1).

Cohn, N. (2018). Visual Language Theory and the Scientific Study of Comics. Empirical Comics Research.

Cohn, N. (2020). Visual narrative comprehension: Universal or not? Psychon Bull Rev, 27(2), 266-285. doi:10.3758/s13423-019-01670-1

Cohn, N., & Magliano, J. P. (2019). Editors’ Introduction and Review: Visual Narrative Research: An Emerging Field in Cognitive Science. Topics in Cognitive Science, 12(1), 197-223. doi:10.1111/tops.12473

Kendeou, P., McMaster, K. L., Butterfuss, R., Kim, J., Bresina, B., & Wagner, K. (2020). The Inferential Language Comprehension (iLC) Framework: Supporting Children's Comprehension of Visual Narratives. Top Cogn Sci, 12(1), 256-273. doi:10.1111/tops.12457

Kilner, J. M., & Lemon, R. N. (2013). What we know currently about mirror neurons. Curr Biol, 23(23), R1057-1062. doi:10.1016/j.cub.2013.10.051

全文完结,整理不易,看不完记得收藏,最后希望点赞支持一下!

了解更多,请关注“心仪脑”公众号!

漫画的力量,你可能一无所知相关推荐

  1. 【Scrum模式语言8】Scrum白板

    译者序:本文说到的Scrum白板是一个重要的Scrum工具,是以物理或电子的方式展示当前Sprint范围及其状态.在Sprint计划期间,当前Sprint计划的产品增量被分解为可执行任务.Scrum白 ...

  2. 我也曾对架构师的力量一无所知

    我也曾对架构师的力量一无所知 本文源于一本书<我也曾对那种力量一无所知>有感.没错,就是致敬韩寒的那篇<我也曾对那种力量一无所知>.全文主旨就是业余玩家自嗨可以,但千万别狂妄到 ...

  3. 《黑客与画家》读后感:你对技术一无所知(一些金句)

    2019独角兽企业重金招聘Python工程师标准>>> 为什么书呆子不受欢迎,他们的心思在别的地方. 要是不受欢迎,仅仅意味着不受到关注.书呆子们可能觉得还能忍受,不幸的是在学校里不 ...

  4. 数学系学生的漫画,治愈了整个朋友圈

    来源 | tango "此人脑洞开得很大,且深不见底."这是网友对tango的描述. 对于画家tango的作品,大家并不陌生,最近他的扑克牌系列创作,再一次带着我们进入了一个有趣的 ...

  5. python画日漫_不能错过的Python漫画

    原标题:不能错过的Python漫画 漫画内容取自: http://kaltap.com/2015/11/28/9-python-cartoons/ 翻译: 诗书塞外 Python部落()组织翻译, 禁 ...

  6. 漫画:什么是数据仓库

    转载自 玻璃猫 算法与数据结构 一个故事 在很久很久以前,世界上生活着许多种族,有人类,有矮人,有精灵......他们有着不同的信仰,不同的文化,彼此相安无事.可是,有一个猥琐男却偏偏想要统治整个世界 ...

  7. refract推导_我们如何利用Refract来利用React式编程的力量

    refract推导 by Joe McGrath 通过乔麦克格拉斯 我们如何利用Refract来利用React式编程的力量 (How we harnessed the power of reactiv ...

  8. 漫画:8年估值千亿美金的字节跳动是如何修炼的

    转载自| BAT(id:batfun) 字节跳动可以说是这两年 最受关注的互联网公司之一 2020年3月12日 字节跳动已经成立整整8年了 8年时间,从0开始 到跻身互联网一线大厂 外界都说它是 我们 ...

  9. html给图片设置编剧,漫画简明编剧教程【4】如何设计角色

    有的人认为漫画的主角一定要"惨",一定要"弱":有的人认为如果主角一开头就很强,肯定也会急速变弱然后从头奋斗. "惨"."弱&qu ...

最新文章

  1. ICLR要搞深度生成模型大讨论,Max Welling和AAAI百万美元大奖得主都来了,Bengio是组织者之一...
  2. 转 一个SMD 0805的LED的电流,电压,亮度关系表
  3. Celaref | 单细胞测序细胞类型注释工具
  4. 讲解开源项目:一步步跑起来个 Java 前后端分离的人力资源管理系统
  5. Ant—使用Ant构建简单Java项目(一)
  6. 错误处理之异常与返回码
  7. Android AR场景拍照技术实现(有关键源代码)
  8. es6中的let声明变量与es5中的var声明变量的区别,局部变量与全局变量
  9. 前端可视化开发--liveload
  10. Blender建模基础(二):建模篇
  11. WorldS4 2020 | 联邦学习的个性化技术综述
  12. 面对5400万抑郁症患者,这600位志愿者“树洞”打算用AI拯救他们
  13. 语音对话声空计算机APP,空空语音app
  14. (整理)吊炸天的CNNs,这是我见过最详尽的图解!(上)
  15. 智能家居到智慧家庭-由远程操作设备到家庭智慧服务
  16. Google全系列产品不再信任赛门铁克某款根证书-转载
  17. 深度学习中FLOPs计算
  18. windows搭建go语言环境eclipse+go
  19. 物联网之配置阿里云生活物联网平台
  20. 装了Db2 udb 8.2

热门文章

  1. 互联网快讯:百度发布青春版“Wonder”App,;极米2021双十二圆满收官;华为笔记本新品将发布
  2. java人学生大学生类的继承,java实验报告7.doc
  3. AWB——Complementarity-enhanced Mutual Networks for Unsupervised Domain Adaptation in Person Re-ID
  4. 2022骨传导蓝牙耳机推荐,最好用的几款骨传导耳机
  5. pil对图像加透明 python_关于python:如何使用PIL将透明png图像与另一个图像合并...
  6. 在公交车上想出的一个java算法
  7. 范仲淹写苏州名胜的诗篇
  8. 面向对象编程--超市小票java
  9. 从MSYS2访问Windows目录
  10. 应用分发是什么意思?APP内测分发步骤