点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

8月24日9:30，本期我们邀请到ICML 2022的十一位讲者给大家带来精彩的分享！

哔哩哔哩直播通道

扫码关注AI TIME哔哩哔哩官方账号预约直播

8月24日 9:40-10:00

讲者简介

张仕俊：

2021年从新加坡国立大学取得博士学位，导师是 沈佐伟 教授 和 杨海钊 教授。目前在杜克大学做博后，导师是 鲁剑锋 教授 和 赵洪凯 教授。目前主要研究方向是神经网络的（逼近）误差分析。更多信息详见个人主页 shijunzhang.top.

分享内容

就本质参数看神经网络的逼近

报告简介

神经网络成功的一个重要因素就是它的强大的表达能力。这样的表达能力通常伴随着 爆炸性增长的参数数量 和 极高的计算代价。在保证网络表达能力的情况下， 研究如何减小需要学习或训练的参数数量是一个非常有趣的话题。本文从逼近的角度学习了这个话题并且证明了需要学习的参数数量确实可以减少。

8月24日 10:00-10:20

讲者简介

税昌健：

麦吉尔大学博士后。目前主要研究方向是distribution shift。更多信息见个人主页 https://cjshui.github.io/

分享内容

算法公平性的表征学习

报告简介

随着机器学习在自动决策中的广泛应用，机器学习算法的公平性问题也被逐渐重视。由于训练模型的数据通常存在偏差（biased)，导致了算法对某些人群的决策也出现了偏差。本文研提出了一种新的算法公平性的表征学习方法同实现公平性算法的充分性条件， 该方法将算法公平性的表征学习设计为一种双层优化模型以实现充分性条件。实验结果表明改算法可以提升算法公平性和准确度的最佳平衡。

8月24日 10:20-10:40

讲者简介

刘晟：

纽约大学数据科学中心博士生，主要研究兴趣是深度学习在不完美数据集（标签噪声，有限监督，无监督等）的鲁棒性，同时从事AI在医疗方面的相关研究包括阿兹海默症的早期自动诊断。个人主页: https://shengliu66.github.io/

分享内容

通过稀疏过参数化实现对噪声标签的鲁棒性

报告简介

过参数化的深度神经网络在计算机视觉，自然语言处理等方面取得了巨大的成功。如今网络拥有的参数量远远超过训练的数据量。然而，当数据被加入噪声，这些过参数化的网络往往会过拟合到噪声上面导致泛化效果变差。在这个工作中，我们提出了一个在标签噪声问题中减轻过过拟合的方法。这个方法基于新加入另一个可学习的过参数化项去复原并分离噪声。这个简单的方法在很多真实噪声污染的数据集上达到了SoTA的结果。理论上，我们证明了对于一个线性模型，稀疏噪声和低秩的数据在非相干性条件下可以被完全分离，对之后使用过参数化去隐式约束另一个过参数网络开启了新的方向。

8月24日 10:40-11:00

讲者简介

周之涵：

上海交通大学博士生

分享内容

自监督长尾表征学习

报告简介

自监督学习在视觉和文本数据的表示学习方面取得了巨大的成功。然而，目前的研究工作主要在精心筛选的数据集上进行验证，而这些数据集无法表现出真实世界中的长尾分布。近期关于自监督长尾学习的尝试主要分为损失重平衡、模型设计两个方面，与监督学习中的范式相类似。然而，这些方法受到尾部样本发掘质量以及启发式结构设计的限制，并未显示出预期的优异性能。我们率先从数据视角来探索这一方向，并提出了一种新颖的基于记忆效应的增强对比学习算法BCL。具体来说，BCL利用深度神经网络的记忆效应，自动驱动对比学习中样本视图的信息差异，更有效地增强无监督任务中的长尾学习。我们在一系列基准数据集上进行的大量实验证明了BCL的有效性。代码链接：https://github.com/MediaBrain-SJTU/BCL

8月24日 11:00-11:20

讲者简介

侯良：

中国科学院计算技术研究所博士生

分享内容

具备辅助判别分类器的条件生成对抗网络

报告简介

类别条件生成模型旨在学习数据和类别的潜在联合分布，以实现类别条件数据生成。其中，带有辅助分类器的生成对抗网络（AC-GAN）虽然得到了广泛应用，但存在生成样本类内多样性低的问题。本文首先指出其根本问题是其分类器是与生成分布无关的/不可区分数据分布和生成分布的，因此无法为生成器学习联合分布提供有效的指导，反而产生最小化条件熵的目标降低类内多样性。基于此理解，我们提出了一种带有辅助判别分类器的条件生成对抗网络（ADC-GAN）来解决上述问题。具体来说，判别分类器使用不同的类别标签分类真实数据和生成数据，以实现区分地感知生成分布和数据分布。我们的理论分析表明，即使没有原始判别器，生成器也可以忠实地学习联合分布，使得ADC-GAN对超参数和GAN损失的选择具有鲁棒性，并且训练过程稳定。在合成和真实数据集上的实验结果表明，与最先进的基于分类器和基于投影的条件生成模型相比，ADC-GAN在条件生成建模中显示出优势。

8月24日 11:20-11:40

讲者简介

李长斌：

得克萨斯大学达拉斯分校博士生

分享内容

利用次模互信息实现半监督模型不可知元学习

报告简介

元学习已经被证明能够通过在很多其他分类任务来学习到一组参数模型被用来解决小样本学习问题。在本文章中，我们提出PLATINUM模型，这是一个利用次模互信息函数来增强小样本学习的新型的半监督元学习框架。PLATINUM通过在元学习内部循环和外部循环中分别利用无标签的样本来进行元学习并能够得到更加丰富的元学习参数。我们主要考虑两种情形：对于某一个任务来说，1）无标签的样本属于本任务中的某类别；2）无标签的样本属于本任务中所有类别之外的标签。我们在miniImageNet，tieredImageNet和CIFAR-FS评估我们模型的表现。实验结果表明 以MAML为基础的PLANINUM模型比其他以元学习为基础的半监督模型效果更好。

8月24日 15:00-15:20

讲者简介

张锐麒：

加州大学伯克利分校的博士新生，本科毕业于北京大学数学科学学院统计系，研究兴趣包括理论强化学习，深度学习和生物统计。

分享内容

基于函数逼近的拟合Q函数估计

报告简介

离线策略估计是离线强化学习中非常重要的一环，但是对于它的理论研究还并不十分充分。其中，基于函数逼近的拟合Q函数估计是一种有效的克服状态空间和行动空间维度爆炸的方法，在实际中取得了很好的效果。我将分享基于函数逼近的离线策略估计的最新的理论结果，包括表格值函数类逼近，用线性函数逼近，用可微函数类的逼近，以及用特殊的非参函数类逼近。我们分别给出这四种函数类逼近的样本复杂度的上界，这个上界和行为策略与目标策略的散度(divergence)直接相关，理论上，只要这个散度是有限的，在满足贝尔曼完备性的条件下，这几种函数逼近都有较小的样本复杂度。我们还可以证明用前三种函数类逼近的时候，我们的样本复杂度是渐进最优的。

8月24日 15:20-15:40

讲者简介

朱兆伟：

加州大学圣克鲁兹分校博士生

分享内容

如何在不训练模型的情况下剔除错误标签

报告简介

真实世界中的标签噪声会影响模型训练进而降低模型的泛化性能。目前已有的标签去噪方法大多基于神经网络的“记忆效应”来将错误标签从数据集中挑选出来，但这些方法需要特定的训练过程而且可能会过拟合带噪标签从而导致模型性能下降。本文提出了一类基于数据的错误标签检测算法。该类方法基于邻近信息来检测错误标签。一种最直接的做法是直接根据样本特征的k最邻近（k-NN）对应的带噪标签来投票估计正确标签。这种方式虽然简单但是可能会因为“多数标签出错”而带来错误结果。为了更进一步，我们的另一种做法采用打分的方式评估每一个点被错误标注的可能性，并将其排序。进而通过估计噪声转移矩阵的方式得到阈值并筛选出可能性较大的一部分作为错误标签。该方法在仿真噪声以及真实世界噪声标签的数据上得以验证。

8月24日 15:40-16:00

讲者简介

张梦晓：

美国南加州大学博士生

分享内容

时变零和游戏中的无遗憾学习

报告简介

从时不变的两人游戏中的重复游戏中学习零和博弈是博弈论和在线学习中的经典问题。本文讨论在随时间变化的博弈收益矩阵中的在线学习。我们首先提出三个绩效指标指导这个问题的算法设计：1）每位玩家的遗憾（individual regret），2）扩展对偶差距（duality gap），以及 3) 一种新的衡量标准:动态纳什均衡遗憾（dynamic Nash Equilibrium regret），其量化玩家的收益和极小极大游戏价值之间的差异。继而我们设计一个单一的无参数算法同时在所有这三个绩效指标下享有好的上界。这些上界适用于不同的非平稳性收益矩阵的度量，以及在收益矩阵固定时得到目前已知的最优上界。我们的算法是具有两层结构。上层算法从一簇满足某类条件的黑盒（下层）算法学习其中的最优算法来同时得到以上三种不同指标的上界。实验结果验证我们算法的有效性。

8月24日 16:00-16:20

讲者简介

傅国绩：

德国斯图加特大学博士生

分享内容

基于p-Laplacian的图神经网络

报告简介

大多数图神经网络算法隐式地假设一个图中相邻节点的标签是一样的或者连续的。然而这个假设只适用于同构图，异构图并不满足。在一个异构图中相邻节点的标签更有可能是不同的，因此大多数图神经网络算法不适用于异构图的表征学习。为了解决这个问题，我们提出了基于p-Laplacian的图神经网络算法。我们通过一个离散正则化优化框架推导出一种新的信息传递机制，称之为p-Laplacian message passing，并证明其是定义在p-Laplacian算子谱域空间的一种多项式图过滤器，并基于新的信息传递机制设计了新的图神经网络算法pGNN。我们对新提出的消息传递机制的谱分析揭示了它可以自适应地表现为低高通滤波器，因此使得pGNN既能用于同构图的表征学习也能用于异构图。我们在多个同构图和异构图的基准数据集以及合成数据集上的实验结果验证了我们的理论结论，也表明了pGNN在异构图数据集上的半监督节点分类性能明显优于当前先进的图神经网络算法，同时在同构图数据集上取得了具有竞争性的相近结果。另外，在加入噪声边的图上的实验结果展现pGNN相比于其他基准算法对噪声边更加鲁棒。

8月24日 16:20-16:40

讲者简介

祝加鹏：

香港科技大学博士在读， GitHub: https://github.com/zhujiapeng

分享内容

region based semantic factorization in GANs

报告简介

尽管在生成性对抗网络（GAN）的潜在空间中语义发现取得    了快速进展，但现有方法要么局限于寻找全局属性，要么依赖于许多分割掩码来寻找局部属性。在这项工作中，我们提出了一种高效的算法来分解GANs学习到的关于任意图像区域的潜在语义。具体而言，我们重新审视了使用预先训练的GAN进行局部操作的任务，并将基于区域的语义发现转化为一个双重优化问题。通过适当定义的广义瑞利商，我们设法解决了这样一个问题无需任何注释或训练。在各种GAN模型上的实验结果证明了我们方法的有效性，以及它在精确控制、区域鲁棒性、实现速度和使用简单性方面优于现有技术。代码：https://github.com/zhujiapeng/resefa

直播结束后大家可以在群内进行提问，请添加“AI TIME小助手（微信号：AITIME_HY）”，回复“ICML”，将拉您进“AI TIME ICML交流群”！

AI TIME微信小助手

主       办：AI TIME

合作媒体：AI 数据派、学术头条

合作伙伴：智谱·AI、中国工程院知领直播、学堂在线、蔻享学术、AMiner、 Ever链动、科研云

往期精彩文章推荐

记得关注我们呀！每天都有新知识！

关于AI TIME

AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。

迄今为止，AI TIME已经邀请了700多位海内外讲者，举办了逾350场活动，超280万人次观看。

我知道你

在看

哦

~

点击 阅读原文 预约直播！