元学习大体分为两个阶段，训练阶段和测试阶段，训练样本中的训练集称作支持集，训练样本中的测试集叫查询集（support set and query set）。测试任务和训练任务内容完全不同。

传统深度学习顺序：定义网络架构——初始化参数——通过自己选择的优化器更新参数——通过多次epoch更新最终得到网络输出。

元学习的目标是自动学习或者代替传统深度学习中的定义网络架构、初始化参数以及更新参数。

元学习中不同的代替方式就发明出不同的元学习算法。

元学习与机器学习的区别

机器学习和元学习的目的都是找一个Function，只是两个Function功能不同。

机器学习中的Function直接作用于特征和标签，是学习某个数据分布x到另一个分布Y的映射。

元学习学习的Function是用于寻找新的f，新的f才会应用于具体任务，是某个任务集合D到每个任务对应的最优函数f的映射，

与迁移学习的区别

元学习更偏重于任务和数据的双重采样，任务和数据一样是需要采样，学习到的F(x)可以帮助在未见过的任务f(x)里迅速建立mapping。更侧重学习常规学习任务中需要人为调的超参数，比如模型结构、度量方式和优化方式。更侧重如何从头开始学习一个模型

迁移学习是指从一个任务到其他任务的能力迁移，不太强调任务空间的概念。更侧重学习任务中需要学习的常规参数，比如神经网络的权重等。更侧重先pretrain再finetune这样的训练模式。

迁移学习和元学习都是从旧任务中学习如何高效地学会新任务。

元学习经典算法之一MAML（Model Agnostic Meta Learning )

学习目标：初始化参数。

MAML的损失是在任务训练之后的测试loss，pre-training是在没有经过训练的原有的基础上求loss

元学习（Meta-learning）相关推荐

元学习(meta learning) 最新进展综述论文，28页pdf
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! 本文综述了元学习在图像分类.自然语言处理和机器人技术等领域的应用.与深度学习不同, ...
元学习Meta Learning/Learning to learn
目录元学习训练用途学习方法元学习和迁移学习的区别和联系元学习 Meta Learning/Learning to learn即利用以往的知识经验来指导新任务的学习,使网络具备学会学习的能力 ...
初识元学习-Meta learning
目录: meta learning的出现 1.meta learning的出现 Meta Learning,元学习,也叫 Learning to Learn(学会学习).是继Reinforcement ...
元学习Meta learning深入理解
目录基本理解元学习与传统的机器学习不同在哪里? 基本思想 MAML MAML与pre-training有什么区别呢? 1. 损失函数不同 2. 优化思想不同 MAML的优点及特点 MAML工作机理 ...
什么是元学习 (Meta Learning)
目录元学习(Meta Learning) 元学习介绍元学习目的元学习流程元学习(Meta Learning) 元学习介绍元学习希望使得模型获取调整超参数的能力,使其可以在获取已有知识的基础上 ...
元学习—Meta Learning的兴起
来源:专知 [导读]元学习描述了训练深度神经网络相关的更高级别的元素.在深度学习文献中,"元学习"一词经常表示神经网络架构的自动化设计,经常引用" AutoML" ...
元学习(meta learning)和小样本学习(few-shot learning)
Meta learning few-shot learning是meta learning中的一种.可将few-shot learning看做是meta leaning即可. Meta learnin ...
《元学习meta learning)》2020综述论文大全！
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! [导读]元学习旨在学会学习,是当下研究热点之一.最近来自爱丁堡大学的学者发布了关于 ...
一文弄懂元学习 (Meta Learing)（附代码实战）《繁凡的深度学习笔记》第 15 章元学习详解（上）万字中文综述
<繁凡的深度学习笔记>第 15 章元学习详解 (上)万字中文综述(DL笔记整理系列) 3043331995@qq.com https://fanfansann.blog.csdn.net ...
Meta Learning在NLP领域的应用
Hi,这里是哈林,今天来跟大家聊一聊Meta Learning在NLP领域的一些应用. 哈林之前在学校科研的方向是NLP,个人对如何将先进的机器学习算法应用到NLP场景很感兴趣(因为好水paper), ...

元学习（Meta-learning）

元学习与机器学习的区别

与迁移学习的区别

元学习经典算法之一MAML（Model Agnostic Meta Learning )

元学习（Meta-learning）相关推荐

最新文章

热门文章