转载自新智元

近三年，刘永进教授课题组在该方向上已经发表了四篇PAMI和CVPR论文。

而这4篇论文有着相同的一作：易冉。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-eevmqDo9-1646234608101)(https://mmbiz.qpic.cn/mmbiz_jpg/UicQ7HgWiaUb0RUApLqwQYEkxZU0gdXEjyUXLBNicYFZuyduuHia1icpR6PCnDJe8lbyRRscRdypcBGHdDpwibKJQKIg/640?wx_fmt=jpeg)]

易冉现在是上海交通大学计算机系助理教授。她于2016年获得清华大学工学学士学位，2021年获得清华大学工学博士学位。她的研究方向包括计算机图形学、计算机视觉和计算几何。近五年共发表录用20余篇论文于IEEE PAMI、ACM TOG、TVCG、CVPR、ICCV、AAAI等国际期刊和会议。

2021年12月，易冉获得中国图象图形学学会2021年度石青云女科学家奖。

她的博士学位论文《艺术肖像画的多风格与跨模态深度生成模型研究》，受到答辩委员会主席张钹院士、委员查红彬教授、陈熙霖教授、史元春教授和胡事民教授的一致好评，入选2021年清华大学优秀博士学位论文。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1oKRVQfY-1646234608102)(https://mmbiz.qpic.cn/mmbiz_png/UicQ7HgWiaUb0RUApLqwQYEkxZU0gdXEjyMRk22qgf3dcPUDF4vlTVu05ZWb9PmmCiaxC34ficvLAoMiaYFRG6b445Q/640?wx_fmt=png)]

除此以外，易冉还获得过中国计算机学会计算机视觉专委会学术新锐奖、第十六届图像图形技术与应用学术会议（IGTA2021）论文竞赛一等奖、北京市图象图形学学会优秀博士论文、微软学者提名奖等学术奖项。

并且她还担任中国图象图形学学会智能图形专委会、动画与数字娱乐专委会委员，AAAI程序委员会委员，IJCV、TIP、TMM、CVPR、ICCV、NeurIPS、ICLR、VR等重要期刊会议审稿人。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XtE29p5S-1646234608102)(https://mmbiz.qpic.cn/mmbiz_png/UicQ7HgWiaUb2J6KKZjCsyomDSuQoxWrAR2em7g0Lsc6gmQVbCNLCaiaPOgDEicX7bpFrDQGNkrUJpQekCqqia0y8HQ/640?wx_fmt=png)]

课题组部分成员合影

连续4年发表顶刊顶会论文

2022

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nYA3fLjz-1646234608103)(https://mmbiz.qpic.cn/mmbiz_png/UicQ7HgWiaUb0RUApLqwQYEkxZU0gdXEjyuBFr7bETAfJMazV9H6xQFicVJV94MvAPadv4UNtBJQYo0ZM6gp2Olrw/640?wx_fmt=png)]

论文链接：https://doi.org/10.1109/TPAMI.2022.3147570
代码链接：https://github.com/yiranran/QMUPD

2021

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-e1RZprN3-1646234608103)(https://mmbiz.qpic.cn/mmbiz_png/UicQ7HgWiaUb0RUApLqwQYEkxZU0gdXEjyJT7elwymGDicFnJpYUg2VAZDZKmAJRmOpAp8rLV4C5g2oyCUrqpPPew/640?wx_fmt=png)]

论文链接：https://doi.org/10.1109/TPAMI.2020.2987931
代码链接：https://github.com/yiranran/APDrawingGAN2

2020

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-w8uWdfdn-1646234608103)(https://mmbiz.qpic.cn/mmbiz_png/UicQ7HgWiaUb0RUApLqwQYEkxZU0gdXEjysT8P4CRic43LWZa8Z3l47j0tph8UGP7GKCmsibhhDhRqEicVdhAXVqP6Q/640?wx_fmt=png)]

论文链接：https://doi.org/10.1109/CVPR42600.2020.00824

代码链接：https://github.com/yiranran/Unpaired-Portrait-Drawing

2019

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fLUhEgyy-1646234608104)(https://mmbiz.qpic.cn/mmbiz_png/UicQ7HgWiaUb0RUApLqwQYEkxZU0gdXEjyWWQbNy0gRVU0em7Q40wUlwulicgrpWycS3q4rcRToB6oXW1kovibY8eg/640?wx_fmt=png)]

论文链接：https://doi.org/10.1109/CVPR.2019.01100

代码链接：https://github.com/yiranran/APDrawingGAN

实现方法

肖像线条画是一种高度抽象、具有表现力的艺术形式，将人物肖像中的丰富信息进行高度压缩，仅用稀疏的图形元素（如线条）表示。精致的肖像线条画需要艺术家精心绘制，十分耗费时间。一些现有方法使用成对训练数据生成肖像画，但是收集数据的过程是昂贵且耗时的。

论文提出一种基于非成对数据的从人脸照片生成肖像线条画的方法，该方法可以（1）使用单个网络生成多种风格的高质量肖像线条画，以及（2）生成训练数据中未出现的「新风格」肖像画。

论文提出一种从人类感知数据中学习肖像线条画质量指标（quality metric）的方法。首先使用现有方法生成许多肖像线条画，并与艺术家的画作混合，收集的样本如下图所示。

通过用户实验收集人类对这些肖像线条画的偏好，由此计算得到每个肖像线条画的质量分数（quality score）。然后用这些数据训练一个回归网络，其输入为一幅肖像线条画，输出为该肖像线条画的质量分数。

该回归网络从人类评估数据中学习，因此其预测的分数可以帮助引导肖像画生成器生成更高质量的结果。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-alJD8ibo-1646234608104)(https://mmbiz.qpic.cn/mmbiz_png/UicQ7HgWiaUb0RUApLqwQYEkxZU0gdXEjyYqJC9WEJUO1DJicibJx4zwK2N4ia5E4ib7AUDFnvqQM3ImwwpKET2ur00w/640?wx_fmt=png)]

为训练质量度量模型收集的肖像线条画样本，包括生成的与艺术家绘制的肖像画。从上至下肖像画质量逐渐下降。

在网络模型的结构方面：

（1）该模型基于非对称循环映射结构和截断损失，以解决非成对训练场景下已有方法常出现的信息隐藏和重要特征缺失问题。

（2）提出基于上述质量度量模型的质量损失（quality loss），以引导生成网络生成「更好看」的肖像画。

（3）通过在生成器部分引入风格特征及风格分类鉴别器，进一步使得单个模型能实现多种风格的肖像线条画的生成。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-c3GYmJNB-1646234608104)(https://mmbiz.qpic.cn/mmbiz_png/UicQ7HgWiaUb0RUApLqwQYEkxZU0gdXEjyIiazoY43iaq4ApKBVVeZ7ZqJ1cuBic1HqLTxgVtWaibb77nQFcWgmlH1mQ/640?wx_fmt=png)]

网络结构示意图

论文进一步提出生成训练数据中未出现的「新风格」肖像线条画的方法。在模型的多风格生成场景下，不同的风格特征会导致不同的风格输出，三种目标风格分别对应于向量[1,0,0],[0,1,0]和[0,0,1]。

给定一个「新」风格的肖像线条画参考图，论文提出使用训练好的生成器，在风格特征空间中搜索一个最优的风格特征，使其生成的肖像线条画在风格上与参考图最相似。最佳的风格特征向量通过优化该向量引导生成的肖像画与目标之间的风格距离得到。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-brCGX4tg-1646234608105)(https://mmbiz.qpic.cn/mmbiz_png/UicQ7HgWiaUb0RUApLqwQYEkxZU0gdXEjygv9mx3WoHLsqChmBHlSQvBst4jEicDxQ1bwMe054hlvGyq8Ml2RKUUQ/640?wx_fmt=png)]

「新」风格生成示例

给定（a）中的目标「新」风格肖像画（即在训练数据中看不到的风格），我们通过优化风格损失，找到合适的风格特征向量，生成与目标相似的肖像画。优化过程如（c）所示，最终生成的结果如（d）所示。优化过程中风格损失的变化如（e）所示。

论文对生成模型进行了特征图可视化，并将其与人脸语义图进行比较，以进一步分析生成网络。实验结果验证了生成器在生成过程中学习了人脸的语义信息。大量实验表明，论文所提出的模型优于目前最先进的方法。

下图给出了所提出的方法与多种风格迁移、图像到图像转换方法的对比结果。论文所提出方法生成了比现有方法更高质量的结果，既保留了人脸结构，又具有良好的图像和线条质量。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QkxPxCts-1646234608105)(https://mmbiz.qpic.cn/mmbiz_png/UicQ7HgWiaUb0RUApLqwQYEkxZU0gdXEjyTJHmU1Cbt1kT4bv1b7opQxz7fNFibrp5S81k3BNtX4ibqAicf891eDABw/640?wx_fmt=png)]

与最新方法的比较

(a)输入人脸照片；(b-c)风格迁移方法：Gatys和线性风格转换方法；（f)单模态的图像到图像的转换方法：DualGAN，CycleGAN，UNIT；（d）多模态的图像到图像的转换方法MUNIT；(e)论文的方法去除质量损失，输出的三种风格；（i）使用成对训练数据的肖像生成方法APDrawingGAN++方法；(j)论文方法生成的三种风格。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wN0FWTUt-1646234608105)(https://mmbiz.qpic.cn/mmbiz_png/UicQ7HgWiaUb0RUApLqwQYEkxZU0gdXEjyiad1qLGa3q34wTdibKTA4xX8zNCuaEtcXfANZsUcEhNl3o42FWtFy9tQ/640?wx_fmt=png)]

更多实验对比

关于我

你好，我是对白，清华计算机硕士毕业，现大厂算法工程师，拿过8家大厂算法岗SSP offer（含特殊计划），薪资40+W-80+W不等。

高中荣获全国数学和化学竞赛二等奖。

本科独立创业五年，两家公司创始人，拿过三百多万元融资(已到账)，项目入选南京321高层次创业人才引进计划。创业做过无人机、机器人和互联网教育，保研清华后退居股东。

我每周至少更新三篇原创，分享人工智能前沿算法、创业心得和人生感悟。我正在努力实现人生中的第二个小目标，上方关注后可以加我微信交流。

期待你的关注，我们一起悄悄拔尖，惊艳所有

4年4篇顶刊顶会论文清华开源肖像线条画生成代码，惟妙惟肖模仿人类作画相关推荐

4年4篇顶刊顶会论文！清华开源肖像线条画生成代码，惟妙惟肖模仿人类作画...
视学算法报道编辑:好困 [新智元导读]近日,清华大学提出的非成对人脸照片肖像线条画生成方法,被IEEE Transactions on Pattern Analysis and Machin ...
2022年顶会、顶刊SNN相关论文----------持续更新中
原文链接:https://blog.csdn.net/qq_43622216/article/details/124163883 2022年顶会.顶刊SNN相关论文目录说明 AAAI2022(共7 ...
盘点一下，人工智能顶刊顶会有哪些？
公众号"笑傲算法江湖",先人一步获取更多内容人工智能过去十年发展快速,也逐步从学术研究走向商业化.但是该领域的主要成果产出依然会发表在国际顶级期刊和会议(即,顶刊顶会)上. 顶会 ...
计算机视觉的顶刊顶会（转载）
国内: 共同点: 都是EI核心来源期刊: 中国计算机学会参与主办是会刊: 科学出版社出版发行: 可接受8000-10000字左右的长文: 稿量大,处理流程大多缓慢,应早投: 国内众星捧月zzz < ...
论文写作计算机类顶会顶刊，及论文发表指导
计算机方向的一些顶级会议和期刊(转载) 国内的学报期刊 SCI级:但是IF比较低,也不是特别专门针对计算机视觉<物理学报><红外与毫米波学报> etc. EI级: <自动 ...
顶刊TPAMI 2022！清华刘玉身团队提出SPD：雪花反卷积网络
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达点击进入->[计算机视觉]微信技术交流群转载自:图形学与几何计算点云形状补全与生成是三维计算机视觉 ...
NLP事件抽取顶刊顶会模型汇总-2021
SpERT(基于span)(使用BERT) Span-based Joint Entity and Relation Extraction with Transformer Pre-training ...
顶刊交通类论文每周速览
该专题旨在快速收集汇总交通领域权威期刊最新发表的文章,重点涉及文章标题,发表时间,文章链接等,实现快速获取最新发表的paper信息,方便追踪捕捉信息全力助跑科研! 微信公众号(交通充电圈)同步更新,每 ...
如何写好一篇高质量的IEEE/ACM Transaction级别的计算机科学论文?——顶刊与顶会的区别...
作者:Bihan Wen 我这里再补充几点我的体会,可以说是一些写作之"术".虽然说只是一些技巧,但亲测是对最后文章中与不中密切相关.在首先掌握了正确的"道"以 ...

4年4篇顶刊顶会论文清华开源肖像线条画生成代码，惟妙惟肖模仿人类作画

关于我

4年4篇顶刊顶会论文清华开源肖像线条画生成代码，惟妙惟肖模仿人类作画相关推荐

最新文章

热门文章

4年4篇顶刊顶会论文 清华开源肖像线条画生成代码，惟妙惟肖模仿人类作画

关于我

4年4篇顶刊顶会论文 清华开源肖像线条画生成代码，惟妙惟肖模仿人类作画相关推荐

最新文章

热门文章

4年4篇顶刊顶会论文清华开源肖像线条画生成代码，惟妙惟肖模仿人类作画

4年4篇顶刊顶会论文清华开源肖像线条画生成代码，惟妙惟肖模仿人类作画相关推荐