中国计算机图形学研究进展

2016-09-08 刘永进  科技导报

作者个人主页：  http://cg.cs.tsinghua.edu.cn/people/~Yongjin/Yongjin.htm

摘要

本文从计算机图形学的发展历史、应用领域、国内外研究现状以及对未来的展望等方面阐述了计算机图形学的研究发展与前沿动态。通过对近3年（2013—2015）ACM SIGGRAPH论文发表情况的数据进行统计分析，展现国内外研究现状。结合统计数据，阐述了国际上各科研机构与商业公司在计算机图形学领域的研发情况以及近年来计算机图形学研究方向的分布特点。介绍了中国具有代表性的研究机构和研究成果。

1. 计算机图形学研究历史及应用领域

1）计算机图形学研究历史

1946年2月14日，世界上第一台电子计算机ENIAC在美国宾夕法尼亚大学问世，1950年第一台图形显示器诞生于麻省理工学院，从此计算机具有了图象显示功能，也开启了图形显示与计算机技术联系的桥梁。1959年，麻省理工学院林肯实验室第一次使用了具有指挥和控制功能的阴极射线显像管（CRT）显示器，让单纯显示的“被动式”图形学开始迈向交互式计算机图形学。在同一时期内，许多商业公司也开始陆续在工业设计和工业生产中运用计算机图形技术，比如美国Calcomp公司的滚筒式绘图仪和美国GerBer公司的平板式绘图仪。这些学术研究和商业应用初步奠定了计算机图形学作为一个学科研究领域的基础。

计算机图形学是一门通过计算机算法将二维或三维图形转化为计算机可以表示的形式并进行计算、处理与显示等研究的学科。“计算机图形学”这一术语最早出现在伊凡·苏泽兰（Ivan Sutherland）1962年在麻省理工学院发表的博士生论文《Sketchpad：一个人机交互通信的图形系统》中。伊凡·苏泽兰在这篇论文中精彩地阐述并展望了交互计算机图形学这一具有前瞻性的研究领域，并提出了一些至今仍被广泛使用的技术与基本概念，比如交互技术和分层存储符号的数据结构等。该博士论文的发表被视为是计算机图形学作为一个正式独立学科分支的开始。Ivan Sutherland也因为在交互式图形学方向的杰出贡献在1988年获得图灵奖。

在20世纪60—70年代，随着光栅显示器的诞生，对光栅图形学算法的研究迅速地发展壮大起来，大量基本概念以及相应的算法应运而生，计算机图形学进入了第一个兴盛时期。光栅图形学将图像转化为点阵表示，通过区域填充、裁剪、反走样等技术将图像在显示器上尽可能完美地显示出来。光栅图形的出现弥补了矢量图形数据结构复杂、难以进行位置搜索和难以计算多边形形状和面积的缺点。同时，随着实用图形软件的发展，大量图形软件的基本标准被人们提出，比如Core Graphics System （ACM SIGGRAPH，1977）、Computer Graphics Metafile（ANSI，ISO/IEC，W3C，1986）等。这些标准为计算机图形学的推广、应用以及资源的共享发挥了巨大作用。

20世纪70年代以来，真实感图形学和实体造型技术开始获得广泛的关注和研究，产生了大量开创性的工作。1970年美国计算机专家Bouknight提出了第一个光反射模型，1971年法国计算机专家Gourand提出“漫反射模型+插值”的思想，1975年美国计算机专家Phong提出Phong模型。这些光照模型都使得计算机图象显示更加接近人们日常生活中的真实场景。此外，在20世纪70年代初期，英国剑桥大学的BUILD-1系统，德国柏林工业大学的COMPAC 系统，日本北海道大学的TIPS-1系统和美国罗切斯特大学的PADL-1、PADL-2系统等实体造型系统相继出现，这些系统都使用了多面体表示形体的方式，为计算机辅助设计（CAD）等领域的发展做出了重要贡献。20世纪80年代中期之后，随着计算机硬件的高速发展，特别是20世纪90年代出现的图形处理器（GPU），计算机图形学开始具有强大的硬件计算基础。在此基础上发展起来的全局光照明模型推动了真实感图形学的进一步发展，并大量运用于CAD、科学计算可视化、动画、影视娱乐等各个领域。

2）计算机图形学应用领域

传统的计算机图形学应用领域包括军事仿真、数据可视化、影视特效、游戏动漫制作等，大多集中在数字内容产业中。21世纪以来，计算机图形学的发展越来越呈现出多元化和学科交叉的特点，前沿热点领域包括3D打印、机器人、认知计算、大数据分析与可视化等。以3D打印为例，它涉及机械制造、材料设计、几何造型、颜色、力学特性等多个学科的交叉，其中与计算机图形学有关的研究内容包括面向3D打印的几何模型高效表示方法、表面效果定制（纹理、颜色）和模型结构优化分析方法等。计算机图形学的研究人员也积极参与到机器人的研究热潮中，除了机器人路径规划和人形机器人运动仿真这些传统的计算机图形学研究内容外，研究人员已经开发了多项机器人在图形学中的应用，包括Hanson Robotics的机器人可以模仿人类的面部表情^[1]，EPFL的模块化机器人Roombots可以为模块化家具提供支持等^[2]。

情绪识别与生理大数据可视化是认知计算、大数据分析与图形学交叉研究的一项代表性工作^[3]。这项工作的出发点在于基于生理信号的情绪识别方法比其他指标如面部表情、语音语调、身体姿态等更难以伪装，也能提供更丰富的信息。面向情绪识别的脑电及外周生理信号（皮肤电、心电、皮肤温度、肌电、眼电等）被统称为生理大数据。尽管累积数据在规模上还达不到互联网、社交媒体、医疗健康等领域超大数据的PB甚至EB级别，但它仍具有规模大（Volume）、模态多样（Variety）、速度快（Velocity）和真实性（Veracity）的大数据“4V”特点。以DEAP数据库（A Database for Emotion Analysis using Physiological Signals）为例，32人共计1280 min的生理数据大小为5.8GB，按照单个医疗机构每日200人次的观测推算，数据规模已达到 TB 级别。Jatupaiboon等采用14导干电极脑电帽（Emotiv）采集被试者的脑电数据，建立了实时监测高兴-不高兴（即正性-负性）识别系统。研究者基于这个系统开发了两款游戏：头像游戏和奔跑游戏。头像游戏是用户高兴时呈现高兴的面孔和音乐，不高兴时则呈现不高兴的面孔和音乐的游戏。奔跑游戏则是用户越高兴，则游戏角色跑的越快的游戏。基于生理信号的情绪识别与图形可视化的发展有望在社交网络、教育、医疗、军事等领域发挥重要作用。

2. 当前计算机图形学研究格局

计算机图形学的研究热点可以通过每年的主流学术会议及时反映出来。目前国际上计算机图形学重要学术会议包括北美地区的 ACMSIGGRAPH（ACM special interest group on Graphics and Interactive Techniques），欧洲的Eurographics，亚太地区的 ACM SIGGRAPH ASIA 和Pacific Graphics 等。以下以 ACMSIGGRAPH为例，对当前图形学的研究现状和热点研究进行一些阐述。

1）国际计算机图形学研究

对近3年（2013—2015年）发表在ACM SIGGRAPH上的论文进行统计分析。为避免重复计算，以下的统计分析基于论文第一作者单位，有共同第一作者的论文分别计入各自第一作者单位，第一作者标有多个单位的则每个单位分别统计一次，论文中的其他参与单位均不列入统计范围内。

首先，按照全球七大洲分，3年内在ACM SIGGRAPH发表论文的统计数据：北美洲以200篇排第一，欧洲95篇排第二，亚洲76篇排第三，而剩余4个洲的论文数量为零。从这些数据基本能判断计算机图形学的研究集中在北美洲、欧洲和亚洲，北美洲的研究更为突出，欧洲和亚洲差距不大。当然北美洲的论文数量多也与ACM SIGGRAPH是在北美洲举办有关。

按照国家来分，美国以175篇排第一，中国43篇（大陆37篇，香港5篇，台湾1篇）排第二，瑞士28篇和加拿大26篇分别排第三、第四，接下来按照顺序排列的是德国21篇，法国16篇，以色列13篇，日本12篇，奥地利8篇，新加坡6篇，英国6篇，瑞典4篇，西班牙4篇，捷克4篇，沙特阿拉伯3篇，韩国3篇，丹麦3篇，意大利2篇，荷兰1篇。这个数据表明中国的计算机图形学研究从论文的数量上来看，居于世界第二梯队的前列。

按照研究机构来分，以瑞士苏黎世迪士尼研究中心（Disney Research Zurich）和华特迪士尼公司（The Walt Disney Company）为第一作者单位分别发表了12篇和7篇论文，微软公司的微软雷德蒙德总部研究院、微软亚洲研究院和微软剑桥研究院分别发表了8篇、7篇和1篇论文，英伟达公司（NVIDIA）发表了8篇，Adobe公司发表了4篇。这表明以迪斯尼和微软公司为代表的全球最大娱乐集团和大型商业软件开发集团，在不同商业领域（包括电影、电视、公园和度假村以及消费产品设计等）的业务对计算机图形学的发展产生了巨大的推动作用。科研机构排名前10位的是（含并列）：美国斯坦福大学16篇，加拿大英属哥伦比亚大学16篇，瑞士苏黎世联邦理工学院16篇，美国麻省理工学院15篇，中国浙江大学11篇，美国康奈尔大学10篇，中国清华大学9篇，美国南加州大学8篇，法国国家信息与自动化研究所（INRIA）8篇，美国卡内基梅隆大学8篇，德国普朗克研究所（Max Planck Institute）8篇，美国加州大学伯克利分校8篇。这些数据表明计算机图形学在中国的大学中有很好的研究基础，但在中国的公司及产业应用中显得非常薄弱，与国际大公司相比有着明显的差距。

从SIGGRAPH论文的研究内容来看，随着传统计算机图形学（光栅图形学、样条曲线曲面、真实感图形学、物理效果模拟、非真实感绘制等）日趋成熟，近年来的SIGGRAPH已经没有明确、主流或非主流的主题，每年的SIGGRAPH充满了奇思妙想，大家的异想天开都可以尝试去实现，各种“黑科技”层出不穷，比如2015年Fu Chiwing等在SIGGRAPH发表论文提出了一种免物理连接的家具部件互锁计算方法^[4]，2014年Abe Davis等在 SIGGRAPH发表的论文实现了从视频中物体表面的振动信息来重现声音信息^[5]，看完后让人觉得茅塞顿开。按照每篇论文标注的美国计算机协会Computing Classification System（CCS）分类法2012年修订版，3年来对应计算方法学（Computing methodologies）类别的论文352 篇，计算理论（Theory of computation）类别80 篇，计算数学（Mathematics of computing）类别43篇，应用计算（Applied computing）41篇，以人为中心的计算（Human- centered computing）24篇，硬件（Hardware）4篇，信息系统（Information systems）3篇，软件及工程（Software and its engineering）3 篇，计算机系统组织（Computer systems organization）1篇（注：1篇论文可能对应多个CCS分类中的类别）。

2）中国研究计算机图形学

中国计算机图形学研究机构，除了上述在国际上占有一席之地的浙江大学、清华大学和微软亚洲研究院之外，其他大学和研究机构也呈现百花齐放的格局。近 3 年以第一作者单位在SIGGRAPH上发表过论文的还有中国科学院深圳先进技术研究院、山东大学、国防科技大学、中国科学技术大学、中国科学院自动化研究所、中国科学院计算技术研究所、杭州师范大学和天津大学。下面列举一些中国优势科研机构在近3年内的部分最新研究成果。参考美国计算机协会 Computing Classification System（CCS）中对计算机图形学的分类以及中国国家基金委在计算机图形学领域给出的中文关键词，把这些最新研究成果分为4个方面：三维几何建模与离散几何计算；计算机动画与模拟仿真；真实感绘制与视频处理和3D打印。通过这些成果，可以领略到中国计算机图形学发展的多样性和新颖性。

（1）三维几何建模与离散几何计算

基于度量优化的方向场生成方法是浙江大学发表在SIGGRAPH2015上的一项代表性工作^[6]。表征物体表面的三角形和表征物体实体的四面体网格结构是计算机图形学中常用的几何单元，但其非规则结构严重影响了复杂物理问题的求解效率和稳定性。四边形和六面体网格则在整体结构和单元性质方面具有天然的优势，但由于几何和拓扑的限制，长期以来人们一直难以自动、可靠、高质量地获得复杂模型的这种半规则结构。大多数已有的四边形化技术都仅使用等大小的正方形来剖分给定的曲面。在复杂特征、方向和密度要求下，这些方法难以灵活自如地生成高质量网格来满足需求。浙江大学的研究人员注意到其根本原因有两点：多种约束条件之间常存在不同程度的矛盾冲突，在狭小的求解空间内无法同时满足；为满足复杂约束要求，必然需要形状更为灵活自由的四边形单元。这两个原因紧密关联。浙江大学的研究人员通过优化计算和利用曲面上的黎曼度量，使用更为丰富的四边形形状进行网格曲面的剖分，扩大了全局结构优化的解空间，从而在复杂多样的约束条件下仍能自动、鲁棒地获得高质量四边形网格（图1）。其关键理论突破在于引入黎曼度量作为额外的求解自由度，重新定义曲面上的内积，将普通曲面提升至黎曼流形，扩大了解空间，同时扩展了原子化方向、密度等各种控制（如单方向的密度控制、光滑性控制等），并在此基础上建立了尽量避免矛盾的约束描述^[7]。

图1 基于度量优化的方向场生成方法^[6]

基于四元树定性分析的模型组织^[8]和基于草图的自动场景模型生成方法^[7]是清华大学在SIGGRAPH上的2项代表性工作。近年来，随着建模工具和三维扫描技术的进步，越来越多的三维模型能够很容易地创造出来，并存储在互联网上。由此使得对模型库中的模型进行高效组织、深层次地理解模型库中模型的组织分类和层次结构，以便于模型检索、浏览和摘要化显示等很多方面的应用需求变得日益迫切。清华大学研究人员提出了一种对高度异质化模型库进行模型组织以利于模型预览和浏览的方法。与单纯依靠并不可靠的定量数值距离进行模型分析不同，该方法引入一种定量分析的方法，充分利用多种可靠的数值距离推断模型之间的拓扑信息对模型进行定性分析（图2）。该分析基于一种名为四元树结构的概念。一个四元树由两对模型组成，其中每对两个模型相似而两对模型因不相似而分离。通过结合自多种数值距离推断出的四元树，该方法建立一个叫分类树的层次结构对模型进行组织。这棵分类树最大程度地保持由四元树所嵌入的模型相似程度的拓扑关系，因此能有效地对一组模型进行组织。进一步地，该方法还为每个模型提出分离度的概念，并展示使用这种概念对模型进行浏览的优势。

图2  基于四元树定性分析的模型组织^[8]

Sketch2Scene是一个从输入草图自动生成场景的交互系统^[7]，该系统可以帮助用户快速生成所需的三维室内场景（图3）。在一个用户调查中发现，在相同的模型库上，Sketch2Scene可以生成与专业人士制作的场景相媲美的结果。Sketch2Scene的主要算法流程分为预处理和运行2个阶段。在预处理阶段首先利用互联网上的三维场景模型构建出一个有一定规模的场景模型库，然后预定义场景中常见物体的类别，从大量场景模型库中分割标定出独立的物体。接着利用数据挖掘领域经典的关联规则从场景库中学习出常见的结构组（桌子-椅子，床-床头柜等），在每一个结构组中统计各物体间的相对位置关系并通过拟合高斯函数的方法来表示这些相对位置关系。这些结构组就表示了场景中所包含的语义关系。将所用模型按视点采样，生成不同视角下的草图以便后续的检索；在运行阶段首先利用类似bag-of-features的图像匹配技术通过输入草图检索模型。由于二维草图在表达上的歧义性，独立的草图检索很难获得令人满意的结果，因此需要利用场景中的语义信息来帮助优化搜索结果。具体做法是增加符合场景中提取的结构组的搜索结果的评分，这样可以保证搜索结果最大程度上符合场景的语义约束。在确定每个草图对应的模型后，需要将模型放置在合适的位置。具体做法是首先利用45°投影的方式将二维草图中的物体直接投影到三维地面上，从而估计出场景中物体的初始位置，接着结合物体相对位置关系的高斯函数，利用梯度下降法求解物体的最优位置，将模型放置在最优位置，从而获得满意的输出结果。

图3  从输入草图自动生成三维场景^[7]

基于深度点的点云优化方法^[9]是中国科学院深圳先进技术研究院的一项代表性工作。其研究者提出一种新的三维点集的表达方式，并将其用于点云数据的优化（如去噪和补全）。核心概念是把每个表面点扩展为深度点，即把每个表面点和一个模型内部的对应骨架点结合。其中，模型的骨架是由一维曲线和二维薄片混合而成。该表达方式是一个作用在深度点两端的联合最优化结果。该最优化问题的目标是合理地排布模型表面和骨架上的端点，使得深度点连线的方向和表面点的法向量一致。当内部点形成一个一致的混合型骨架，并且表面点被巩固（连同缺失的区域被补全）时，该优化函数收敛。这个新表达方式的优势在于，它融合了局部和非局部的几何信息。中国科学院深圳先进技术研究院的研究人员利用该方式优化及补全了有噪声的数据残缺不全的点云数据（图4），证实了基于深度点的点云优化技术的优势。

图4  基于深度点的点云优化方法^[9]

稀疏模型在几何处理中的应用^[10~13]是中国科学技术大学取得的系列性成果。稀疏性假设是信号和图像处理中常用而且效果卓越的假设。其主要思想是假设信号在某组正交基或者冗余相关基下的表示是稀疏的，通过在目标函数中使用p（1≥p≥0）范数达到只有极少数变量非零的效果，可将大量的冗余变量去除，只保留与响应变量最相关的解释变量，简化了模型的同时却保留了数据集中最重要的信息。中国科技大学研究人员将稀疏模型的方法成功应用在几何处理的一系列问题上，并取得显著效果。

① 研究人员分别找到几何物体上的格林函数作为基函数表示特征信号以及形状函数加上多项式表示局部几何，并将其应用于几何物体的去噪^[10]。使用一个包含两步的迭代算法的方法对网格进行去噪：使用拉普拉斯正则项的光滑步和基于分析的压缩感知的特征重构步。该方法取得了出色的表现，能够在保持物体尖锐特征的情况下将噪声去掉（图5）。

图5 使用压缩感知的方法对三维模型进行去噪，并且能保持模型的尖锐特征^[10]

② 计算几何领域的一个经典问题是给定边界控制点的函数值，如何插值出控制点所围成的区域内任意点的相应函数值？为了解决这一问题，研究者们提出了多种类型的重心坐标。但现有的重心坐标往往存在着“牵一发而动全身”的局限性。通过最小化全变差模型，即重心坐标梯度模的一范数这个稀疏模型来约束控制点影响区域面积的上界，从而构建出的重心坐标光滑且局部（图6），避免了“一着不慎，满盘皆输”的尴尬局面^[11]。

图6 基于稀疏模型构造的重心坐标局部且光滑，可对三维模型进行局部变形^[11]

③ 近年来，随着Kinect、RealSense等深度相机的逐渐普及，点云数据的获取变得越来越容易，但这些点云数据包含噪音与异常值等。如何由采集到的带噪音与异常值的点云数据重建出理想的三维模型是一个亟待解决的问题，为此，研究人员提出了基于稀疏字典学习模型的点云重建方法，其目标函数衡量了重建曲面与采集点云之间的距离度量、噪声及异常值的去除、特征的保持等因素^[12]。相比现有的三维重建方法，该方法在重建精度、噪声和异常值的鲁棒性、几何特征及细节保持等方面都有显著的提高（图7）。

图7  对实物扫描得到点云，通过重建方法得到三维模型，最终通过三维打印得到实物^[12]

④ 研究人员将基础流形作为几何信号的定义域，使用形状函数和多项式作为冗余相关基函数集合对几何信号进行稀疏表示。表示中假设局部坐标图下的函数表示在基函数下是稀疏的，同时不同的局部坐标图之间通过一致稀疏表示模型进行了融合^[13]。该方法被用来逼近细分曲面和曲面网络结构（图8）。

图8 使用一致稀疏表示逼近三维几何和曲线网络结构，能够很好表达各种几何特征^[13]

复杂场景的自动扫描重建及主动式物体分析是国防科技大学和山东大学等单位合作的一项代表性工作^[14]。室内的细节性扫描对人来说是一件繁重的任务。研究者们提出了让机器人自动进行室内场景扫描的思路。为了对场景进行细致的扫描，人们不可避免地需要将场景重建和场景分析结合起来。研究人员开发了一个框架实现了物体层面的场景重建和以物体为中心的场景分析。在该框架中，研究人员驱使机器人与场景进行交互，通过执行迭代式的分析验证算法，实现对场景中的物体进行分析验证，从而减少物体间的遮挡，进而获取更加完整的场景模型（图9）。研究人员将机器人在线获取的知识与一个鲁棒的分割系统进行结合，实现了在线物体分析。基于初始的物体分割结果，系统会对分割出的物体的置信度进行评估，对于低置信度的物体，机器人会对其进行交互以验证分割结果是否正确，并更新分割结果，进而提高物体的置信度。交互会减少紧挨在一起的物体间的相互遮挡，因此机器人能够对交互后的场景进行更加完全的扫描。系统的输出是一个提取了所有物体的完全重建的场景。

图9 基于机器人交互的复杂场景的自动扫描重建及主动式物体分析^[14]

（2）计算机动画与模拟仿真

基于Cage网络的图像变形方法和三次均值坐标是清华大学的一项代表性成果^[15]。基于Cage结构的图像变形是一种直观的交互式的图像变形技术。用户可以将一个封闭的离散结构（即Cage结构）附加到输入图像之上，然后直接对其控制顶点进行拖拽，而算法将根据用户的输入对图像进行插值和变形。传统的基于Cage的图像变形技术有两大局限，一是Cage只能用多边形来进行描述，缺乏灵活性；二是对于Cage网络，在区域的交界处不能保证图像变形的一阶连续性，会产生错切。针对这两个问题，清华大学的研究人员提出了三次均值坐标（cubic mean value coordinates），它是均值坐标（mean value coordinates）的高阶推广，支持对Cage边界的函数值和梯度值同时进行插值，能够应用于基于Cage网格的图像变形，在支持曲边Cage（分段三次Bezier曲线）的同时，也能保证图像变形的一阶连续性（图10）。

图10  基于Cage网络的图像变形效果^[15]

基于材质优化与降维的弹性运动编辑是浙江大学发表在 SIGGRAPH2014上的一项代表性工作^[16]。传动基于物理的动画编辑中，需要预先设置各种物理参数（如刚度、密度等）。在时空约束等条件下，优化计算出的运动如不符合需求，则需反复人工调节这些参数，再次优化计算，效率低下。为解决这一问题，浙江大学的研究人员将材质优化与运动编辑统一建模处理。其难点关键在于传统欧式空间内的刚度矩阵与模型的形变密切相关，存在高度的非线性因素，带来巨大的求解困难。针对这一难点，在旋转-应变框架内，浙江大学的研究人员将刚度矩阵近似为一常数矩阵，并进行降维处理，把问题规模从几万降低到几十，从而极大地提高了求解效率。基于这一技术，浙江大学的研究人员解决了交互式时空约束下的动画编辑以及物理参数自动优化问题（图11），相比于需要手工交互调节物理参数的传统动画编辑技术极大地提高了效率，比传统欧式空间的计算方法提速2个数量级。这一技术不仅适用于计算机动画编辑处理，而且能在3D打印等领域应用于力学目标驱动的逆向设计之中。

图11  交互式时空约束下的动画编辑以及物理参数自动优化^[16]

面向离散小物体堆叠合成的动态离散单元纹理合成算法是微软亚洲研究院的一项代表性研究成果^[17]。真实世界中有很多物体是具有相似特性的很多细小物体堆叠聚集而成的，例如鱼群、水果堆、树枝、面条等。快速有效地在虚拟世界中生成这类离散堆叠的物体，产生所需要的堆叠造型，并有效地模拟这些物体丰富的动态，可以提高虚拟现实和艺术创作效率和结果质量。针对这一问题，微软亚洲研究院的研究人员提出了离散单元纹理合成和动态离散单元纹理合成算法，通过给定的少量堆叠样本（静态或动态的）和最终的造型要求，自动生成所需的物体堆叠效果和动态细节。算法的核心思想是利用样本堆叠中布局的局部性和运动细节的局部性，通过对已有样本的局部动态细节或布局的分析，在目标造型设定下，优化每个样本局部的布局或动态细节与样本的相似性，最终得到满足要求的堆叠效果与动态细节。微软亚洲研究院的研究人员成功地将这一方法用于模拟各种堆叠效果以及群体运动细节（图12）。

图12  面向离散小物体堆叠合成的动态离散单元纹理合成算法^[17]

（3）真实感绘制与视频处理

基于函数回归分析的全局照明绘制是微软亚洲研究院的一项代表性研究成果^[18]。全局照明为场景提供了非常丰富的视觉效果。这些效果是真实感绘制的重要组成部分。很多照明细节来自光的多次反射。这些多次反射的照明效果称为间接照明。间接照明通常运算复杂度很高。虽然有许多线下绘制方法能够精确地绘制全局照明效果，但是实时的可变光源和可变视点的绘制仍然是一大难题。为此，微软亚洲研究院的研究人员引入了辐射回归函数的概念，即给定场景的视点和光源以及任一表面点的位置，函数返回该点的间接照明亮度。其核心思想是设计一个关于表面点属性的非线性函数，并使得这种函数表达简洁、运算快速。对于给定的场景，研究人员从线下绘制算法生成的数据中训练辐射回归函数。在实时绘制时，辐射回归函数利用这些属性数据快速计算间接照明效果。最后，与直接照明相加从而获得完整的全局照明解决方案。研究人员用多层前向神经网络作为辐射回归函数的基本模型，设计并分割辐射回归函数的输入参数空间，用多个小规模神经网络模拟复杂场景的照明特性，实现了媲美线下绘制效果的实时绘制（图13）。

图13  辐射回归函数绘制技术的实时绘制结果^[18]

面向手持移动设备的视频背景替换技术是山东大学的一项关于视频处理的代表性工作^[19,20]。视频背景替换是影视制作中常用的特效技术，但需要在专业的摄影棚中利用蓝（绿）幕和摄像机运动控制设备才能完成。山东大学研究人员提出了一种面向手持移动设备的视频背景替换技术，使普通用户可以利用手机等移动设备，在自然背景的场景中较容易地实现视频背景替换，从而使这种专业的影视制作技术可以被普通大众所掌握和利用。该项技术包含两个关键步骤：一是对自然背景视频的便捷交互式抠像，即将待合成的前景物体从原视频背景中分离出来。为使得用户操作尽量便捷且交互量尽量少，研究人员提出了一种可以有效处理视频中物体的快速运动和形变的方法，克服了传统技术在处理动态物体时效率低的缺点；二是对抠像得到的前景与新背景进行一致合成，以消除原视频和新背景视频由于摄像机运动、场景几何等不一致导致的错误相对运动，以及在透视和光照效果等方面的差异，使得背景物体能与新背景真实地融为一体（图14）。

图14  面向手持移动设备的视频背景替换^[19，20]

（4）3D打印

利用双尺度模型的表面反射表观制造是微软亚洲研究院的一项代表性研究成果^[21]。三维打印是近年来得到快速发展的新型快速制造技术。目前三维打印大部分仅仅能够重现给定的几何形状和表面颜色，但是无法展示自然界中不同材质表面反射具有的丰富细节。这一细节不仅体现在空间纹理的分布上，同时也体现为反射性质在角度域上的复杂变化。微软亚洲研究院的研究人员提出了一种基于双尺度模型的表面反射材质制造的方法，可以全自动地设计，并利用现有的打印设备制造出不同属性的材质样本，使其具有与目标材质一致的反射属性。双尺度模型将表面上每一个点的反射材质属性，用一个具有不同面元方向的高度场和高度场上的金属油墨表达。由于金属油墨在微观上，依然是一个具有不同方向面元的结构，因此，这一模型是利用两个不同尺度的面元来重建复杂的反射材质属性的。微软亚洲研究院的研究人员提出了一种全自动的优化算法，可以对于输入的反射材质属性，自动计算出对应的高度场及其对应的金属油墨分布。根据这一分布，其高度场可以利用三维打印来制造；而后，金属油墨则通过紫外线印刷术来进行打印，最终制造出具有所需要反射属性的材质样本。该方法适用于具有各种复杂的空间纹理分布、各向异性材质及表面法线凹凸变化等特效的反射材质，大大增强了现有三维打印技术的表现能力（图15）。

图15  利用双尺度模型的表面反射表观制造^[21]

节省成本的3D打印技术是中国科学技术大学的一项代表性研究成果^[22,23]。3D打印（3D Printing）是近年来逐渐成熟和广泛使用的快速成型制造技术。3D打印通过快速自动成型系统（也即3D打印机）与计算机图形数据结合，无需任何附加的传统模具制造和机械加工就能制造出各种形状复杂的物体。然而，3D打印速度很慢且3D打印材料较为昂贵（3D打印的成本通常用单位体积所需材料的费用来计量）。因此，节省材料的使用量既能节省打印费用又能节省打印时间。中科大的研究人员系统性开展了这方面的研究工作，取得了如下成果。

① 受到建筑领域使用刚架结构制造大型建筑的启发，中科大的研究人员提出一种“蒙皮-刚架”技术（图16）。对于给定的一个三维模型，研究人员将模型表达成一个很薄的蒙皮及内部的刚架结构，使得表达后的物体的体积（即所使用的打印材料）最小，而且使得打印物体能够满足所要求的物理强度、受力稳定性、自平衡性及可打印性等要求^[22]。这项工作的目标函数包括两个：第1个目标为使得物体的体积最小，即蒙皮体积及刚架结构的体积之和最小。由于蒙皮厚度的增加会很快增加体积，因此将蒙皮的厚度固定为最小可打印精度，不作为优化变量。因此，需要优化的变量只包括刚架结构中细杆的半径、节点的个数及位置；第2个目标为使得刚架结构中的细杆数量及节点数量尽量少，该目标是不要出现冗余的细杆及节点。为此，研究人员通过多目标优化建模，提出一种迭代优化的方法来优化两个目标函数。只要从任意的一个刚架结构出发（可随机产生），该算法可以智能地优化出细杆的半径，去除多余的细杆及节点，以及优化节点的位置，使得总体积最小。与实体填充的打印相比，中国科技大学的研究人员提出的方法能节省约50%～70%以上的材料。

图16  使用“蒙皮-刚架”的3D打印技术。生成内部网状的支撑结构在保证物理及力学性质（强度和稳定性）的情况下，使用最少的打印材料^[11]

② 3D打印机打印尺寸有限，无法直接3D打印体积较大的物体。激光切割（Laser Cutting）作为另一种制造工艺，相比较于3D打印，虽然只能制造具有二维形状的物体，但其制造材料成本低，且切割速度非常快。中科大的研究人员结合3D打印和激光切割各自的制造优势，提出一种快速、廉价的分块制造大物体的方法（图17）^[23]。该方法的主要思想是在三维物体内部构造由激光切割板块组装成的三维支撑结构，然后将多个3D打印部件贴附到支撑结构上保证物体的外观。为了实现这个目的，研究人员提出以下技术：（1）构造和优化多面体尽可能地逼近三维物体的内部形状，以最大化激光切割板块的使用来减少总体制造成本和时间；（2）在相邻激光切割板块之间构造连接头，使得这些板块通过三维自锁稳固地连接成一个整体结构，用于支撑整个制造的三维物体；（3）剖分三维物体的空壳模型得到多个3D打印部件，然后使用公母连接头将这些3D打印部件贴附连接到激光切割支撑结构上。该项工作输出多个激光切割板块和3D打印部件的模型，可直接使用激光切割机和3D打印机分别制造出来。这些制造出的切割板块和打印部件可按照设计好的顺序组装成目标物体。与已有的简单分块3D打印大物体的方法相比，中科大研究人员提出的方法可以节省30%～60%的制造成本和时间。而且，物体的制造尺寸越大，该方法节省的成本和时间越多。

图17 结合3D打印与激光切割的制造技术。内部板块状部件使用激光切割制造，

外部部件使用3D打印制造，从而节省打印材料的使用，大大缩短了制造速度^[23]

围绕面向3D打印的物理建模与几何优化问题，山东大学取得了以下研究成果^{[24, 25]}。

① 考虑打印模型的受力要求，提出了一种面向3D打印的物体内部结构优化方法^[24]。研究人员将具有轻质、高比强度等特点的多孔结构作为模型的内部结构，对于给定的模型与受力情况进行受力分析得到内部应力场，计算与应力场相适应的重心Voronoi图作为三维形状体空间内的单元剖分，构建以调和函数为基础的距离场，通过曲面重建得到多孔结构，并结合受力分析迭代进行几何优化，使得物体在能承受给定外力的约束下所需材料最少（图18）。

图18  面向3D打印的物体内部蜂窝状结构优化^[24]

② 考虑打印模型对于打印空间的适配，提出了一种面向3D打印的模型分解与排列优化方法，同时优化几何分解与排列2个过程，将模型分解成较少的块，并且尽量紧致地排列于打印空间内^[25]。对于给定的三维模型，对其进行近似金字塔式分解，通过迭代式地排列块以及对块的同步切割，渐进式地在打印空间内排列成一个可打印堆。研究人员使用优先化的和有限的定向搜索策略，对整个搜索空间进行剪枝和搜索。在优化中同时考虑到不同打印技术（如FDM、Binder-Jetting等）的成型特点。

3. 结论与展望

当前计算机图形学的研究逐渐朝着多学科交叉融合的方向发展，既有与认知计算、机器学习、人机交互的融合，也有与大数据分析、可视化的融合；不仅针对三维数字模型，还涵盖了图像视频，体现出与计算机视觉的深度交叉。计算机图形学的快速发展，一个潜在的趋势是不再有明确清晰的主题，而更多地体现出方法和技巧的创新，每年的SIGGRAPH盛会都是奇思妙想的大舞台，各种精巧的应用、令人脑洞大开的构思、精彩绝伦的效果呈现，都推动着计算机图形学飞速向前发展。中国计算机图形学研究已经在国际上占有一席之地，但在产业推广和公司中的应用与国际大公司相比，还有明显的差距。这也是今后中国计算机图形学发展需要重点关注的方向之一。中国（包括中国大陆、香港和台湾）的计算机图形学学者正在联合日本、韩国、新加坡等亚太国家积极筹备ASIAGRAPHICS这一亚太图形学学术组织，预计将于2016年下半年或2017年初正式成立，目标是成为和SIGGRAPH、EUROGRAPHICS并列的全球三大计算机图形学组织。可以预期，在不久的将来，国际上计算机图形学的研究领域中，中国学者将发挥越来越大的作用。

致谢  微软亚洲研究院童欣高级研究员、中国科技大学刘利刚教授、深圳大学黄惠教授、浙江大学黄劲教授和山东大学吕琳副教授为本文提供相关文字材料。

参考文献（References）

[1] Hanson Robotics. We bring robots to life[EB/OL]. [2016-05-29]. http://www.hansonrobotics.com.

[2] Bonardi S, Blatter J, Fink J, et al. Design and evaluation of a graphical iPad application for arranging adaptive furniture[C]//Ro-MAN 2012: Proceedings of the 21st IEEE International Symposium on Robot and Human Interactive Communication. Paris, France: IEEE, 2012: 290-297.

[3] 赵国朕, 宋金晶, 葛燕, 等. 基于生理大数据的情绪识别研究进展[J]. 计算机研究与发展, 2016, 53(1): 80-92.Zhao Guozhen, Song Jinjing, Ge Yan, et al. Research progress of emotion recognition based on physiological big data[J]. Journal of Computer Research

and Development, 2016, 53(1): 80-92 .

[4] Fu C W, Song P, Yan X Q, et al. Computational interlocking furniture assembly[J]. ACM Transactions on Graphics, 2015, 34(4): Article 91.

[5] Davis A, Rubinstein M, Wadhwa N, et al. The visual microphone: Passive recovery of sound from video[J]. ACM Transactions on Graphics, 2014, 33(4):Article 79.

[6] Jiang T F, Fang X Z, Huang J, et al. Frame field generation through metric customization[J]. ACM Transactions on Graphics, 2015, 34(4): Article 40.

[7] Xu K, Chen K, Fu H B, et al. Sketch2Scene: sketch-based co-retrieval and co-placement of 3D models[J]. ACM Transactions on Graphics, 2013, 32(4):Article 123.

[8] Huang S S, Shamir A, Shen C H, et al. Qualitative organization of collections of shapes via quartet analysis[J]. ACM Transactions on Graphics, 2013, 32(4): Article 71.

[9] Wu S H, Huang H, Gong M L, et al. Deep points consolidation[J]. ACM Transactions on Graphics, 2015, 34(6): Article 176.

[10] Wang R M, Yang Z W, Liu L G, et al. Decoupling noise and features via weighted ℓ1-analysis compressed sensing[J]. ACM Transactions on Graphics,2014, 33(2): Article 18.

[11] Zhang J Y, Deng B L, Liu Z S, et al. Local barycentric coordinates[J]. ACM Transactions on Graphics, 2014, 33(6): Article 188.

[12] Xiong S Y, Zhang J Y, Zheng J M, et al. Robust surface reconstruction via dictionary learning[J]. ACM Transactions on Graphics, 2014, 33(6): Article 201.

[13] Wang R M, Liu L G, Yang Z W, et al. Construction of Manifolds via Compatible Sparse Representations[J] .ACM Transactions on Graphics, 2016, 35(2):Article 14.

[14] Xu K, Huang H, Shi Y F, et al. Autoscanning for coupled scene reconstruction and proactive object analysis[J]. ACM Transactions on Graphics, 2015, 34(6): Article 177.

[15] Li X Y, Ju T, Shi M H. Cubic mean value coordinates[J]. ACM Transactions on Graphics, 2013, 32(4): Article 126.

[16] Li S W, Huang J, de Goes F, et al. Space-time editing of elastic motion through material optimization and reduction[J]. ACM Transactions on Graphics,2014, 33(4): Article 108.

[17] Ma C Y, Wei L Y, Lefebvre S, et al. Dynamic element textures[J]. ACM Transactions on Graphics, 2014, 32(4): Article 90.

[18] Ren P R, Wang J P, Gong M M, et al. Global illumination with radiance regression functions[J]. ACM Transactions on Graphics, 2013, 32(4): Article 130.

[19] Zhong F, Yang S, Qin X Y, et al. Slippage-free background replacement for hand-held video[J]. ACM Transactions on Graphics, 2014, 33(6): Article 199.

[20] Fan Q N, Zhong F, Lischinski D, et al. JumpCut: non-successive mask transfer and interpolation for video cutout[J]. ACM Transactions on Graphics,2015, 34(6): Article 195.

[21] Lan Y X, Dong Y, Pellacini, et al. Bi-scale appearance fabrication[J]. ACM Transactions on Graphics, 2013, 32(4): Article 145.

[22] Wang W M, Wang T F, Yang Z W, et al. Cost-effective printing of 3D objects with skin-frame structures[J]. ACM Transactions on Graphics, 2013, 32(5): Article 177.

[23] Song P, Wang Z Q, Dong Z C, et al. CofiFab: coarse-to-fine fabrication of large 3D objects[J]. ACM Transactions on Graphics, 2016, 35(4), to appear.

[24] Lu L, Andrei S, Zhao H S, et al. Build-to-last: strength to weight 3D printed objects[J]. ACM Transactions on Graphics, 2014, 33(4): Article 97.

[25] Chen X L, Zhang H, Lin J, et al. Dapper: decompose-and-pack for 3D printing[J]. ACM Transactions on Graphics, 2015, 34(6): Article 213.

（责任编辑   王志敏）

---

作者简介：刘永进，清华大学计算机科学与技术系/清华信息科学与技术国家实验室（筹），副教授，研究方向为计算几何与图形学。

注：本文发表在《科技导报》2016年第14期，欢迎关注。本文部分图片来自互联网，版权事宜未及落实，欢迎图片作者与我们联系稿酬事宜