Meta-learning就是教会它怎么学！

大家以为AI都是很牛，但其实就是在调参，在工业界怎么样子调参呢？使用1000GPUs，而学业界只有一张！我们知道Machine learning可以学出来，那么hyperparameters是不是能学出来呢？

我们回顾一下Machine Learing！其实就是三个步骤：

这里，我们定义了函数f(θ\thetaθ)，我们需要找到那个使得L(θ\thetaθ)最小的θ∗\theta^*θ∗! 同时使用fθ∗f_{\theta^*}fθ∗成为最终的模型训练！

What is Meta Learning？

我们原来都是设置模型，并且调参从而得到我们最后的函数！
那么我们是不是能让机器来学习这个模型，学习合适的参数呢？

Meta-learning - Step 1

在学习算法中什么是可以学习的？

Meta learning – Step 2

Define loss function for learning algorithm FϕF_\phiFϕ

怎么定义L(ϕ)L(\phi)L(ϕ)?

我们会分为multi tasks，同一个F不同的任务，最终取所有损失之和！这里需要注意，我们是在测试阶段进行损失的计算的！这是和一般的机器学习很大的不同之处！

Meta learning – Step 3

不管使用什么方法，我们也是找到最合适的θ\thetaθ

把问题想象成Training tasks 和 Testing tasks！
Few-shot是目标，Meta是手段！

MeatLearning vs ML

Goal

Training Data

在Meta Learning里面，我们只有Training tasks的划分，每个训练任务中我们有Train和Test集！但是这听起来有点绕口，所以就Train set称为了Support set，而Test set称为Query set！

Task

在ML中只有一个任务，一个任务中训练集和测试集！
但是在Meta Learning中，却是Training Tasks，多个Task，取各个任务的loss，并求和！

这里我们可以量一个Testing Task称为一个episode！

Loss

每个任务都需要计算损失，这个计算量是很大的！
这里我们将Across-task Learning叫做Outer Loop；
而Within-task则称为Inner Loop！

Same

Meta-Learning也是需要有超参数的，但是这里的超参数理想情况下是一劳永逸，可以用在任何形式上！

Devlopment task：是用来当工具的，比如学习率我们不知道是不是可行，那么就需要用在Development task来操作的！

李宏毅机器学习（十一）meta-learning和ML一样是三个步骤相关推荐

李宏毅机器学习35——meta learning
摘要: 这节课学习了meta learning(元学习) 元学习是通过一系列task的训练,让机器成为一个更好的学习者,当机器遇到新的学习任务时,就能更快的完成.类比到现实生活中,元学习不是指某一类的 ...
李宏毅机器学习-explainable machine learning（机器学习的可解释性）及代码
目录为什么需要机器学习的可解释性? Interpretable VS Powerful 什么叫做好的 Explanation explainable ML的分类 Local Explanation( ...
机器学习15 -- Meta Learning 元学习
1 什么是meta learning 一般的机器学习任务是,通过训练数据得到一个模型,然后在测试数据上进行验证.一般来说我们仅关注模型在该任务上的表现.而meta learning则探讨解决另一个问题 ...
李宏毅机器学习之Deep Learning简介
一.深度学习的发展趋势 1958:Perceptron(linear model) 1969:Perceptron has limitation 1980:Multi-layer perceptron ...
机器学习（Machine Learning，ML）
一.基本概述人工智能大师Herb Simon对于学习是这样定义的: 学习:系统在不断重复的工作中对本身能力的增强或改进,使得系统在下一次执行相同任务或者类似任务(指的是具有相同分布的任务)时,比现在 ...
【李宏毅机器学习】Semi-supervised Learning 半监督学习（p24）学习笔记
文章目录 Semi-supervised Learning Introduction Supervised Learning Semi-supervised Learning Why semi-sup ...
【李宏毅机器学习】Unsupervised Learning - Word Embedding 无监督学习 - 词嵌入（p22）学习笔记
文章目录 Unsupervised Learning Word Embedding 用一个vector来表示一个word的几种方法 1-of-N Encoding Word Class Word Em ...
李宏毅机器学习16—Unsupervised learning：word embedding
Unsupervised learning:word embedding 无监督学习:词嵌入摘要:这节课通过介绍word embedding,说明什么是无监督学习以及word embedding的 ...
强化学习-把元学习（Meta Learning）一点一点讲给你听
目录 0 Write on the front 1 What is meta learning? 2 Meta Learning 2.1 Define a set of learning algori ...

李宏毅机器学习（十一）meta-learning和ML一样是三个步骤