学习方法-学习观（12）我们为何不进化成过目不忘？

系列文章解读&说明：

本系列文章主要是对 B站上YJango的《学习观》系列视频的一个解读

1 视频链接

本章节对应 YJango的《学习观》系列视频链接为：

学习观15 人类为啥不进化成过目不忘？记忆力差难道不阻碍学习吗？

学习观15.5 遗忘是为了更好的学习

2 思维导图

第二季中采用从上到下设计的模式比较高效，因此第三季依然会采用这样的方式，继续采用从上到下的设计方式，不需要后期再重构，一气呵成。本章节对应导图如下：

3 感受分享

本章节主要关键在于理解 2个问题：

为什么我们要选择遗忘？

计算机能瞬间记忆，长期保存，再相似的信息也不会混淆。加之患有超忆症的人群也可以过目不忘，说明演化了数亿年的生命完全有条件产生像计算机这样既没有消退也没有记忆干扰的大脑。同时越来越多的研究也表明，遗忘恐怕并不是被动的，而是大脑的一种主动行为。记忆的方式有两种：一种是查找记忆，一种是网络记忆。解读如下：

查找记忆：记忆方式与九九乘法表一样，就是将所有情况都记录下来，随后根据输入去查找对应的输出。特点是：记忆迅速、保存稳定、不会混淆；这是我们意识层面比较熟悉的记忆。恐怕不少人也认为人脑的长期记忆就是这种方式。
网络记忆：不同于第一种记忆，网络的记忆并不是存储在某个特定位置，而是由所有权重共同存储的，无法直接查看，只能根据输入计算输出。这种记忆的特点是记忆比较耗时（这种记忆方式因为需要不断调整网络的权值，直到能纳入所有情况为止，所以会比较耗时），会有干扰（这种调整也会影响先前情况的记忆。比如记忆完这种情况，再记忆剩下三种情况时，就会影响第一种情况的记忆），会有混淆（同时，网络的记忆就会出现混淆两个相似情况的现象。就是我们俗称的“模糊记忆”）记忆可稳定（不过，只要保证权值的大小不变，这种记忆一样可以稳定存在，并不会出现快速遗忘的现象）。

根据我们平时的记忆特点，能够感觉出来，生物底层所采用的是网络记忆方式。可网络记忆明明有那么多弊端，为什么不采用查找记忆呢？

的确，查找记忆可更快捷的记忆信息，比如计算机的记忆就几乎是瞬间的，然而前提却是要有人提供给它所有情况的信息。可在自然中，谁来提供给生物这些情况的信息呢？查找记忆完全没有解决我们在上一节中所描述的生存困难，并不能从有限的例子中学习模型，来对抗生命最大的敌人：未知。不仅如此，对于在信息不断增加的环境中所生存的生物而言，查找记忆也意味着需要近乎无限的存储空间。而网络记忆虽然慢，还会混淆，但它实际上是在寻找所有见到（相似）情况的共同规律，将它们都压缩进一个网络中，无需记住所有情况，而是根据输入得到输出，节省了存储空间。更重要的是，所找到的共同规律就可以用来预测从未见到的情况。

但既然网络的记忆也可以稳定存在，为什么会出现遗忘呢？问题就在于个体该如何筛选模型，如何提高模型的泛化能力。因为网络学习会从所见到的情况中寻找相同的规律，但生物每次见到的情况都是随机的，部分随机情况之间也会有特殊规律。比如，连续学习乔布斯和比尔盖茨的情况，就会找到辍学的规律。而连续学习这两种情况，就会找到忽略第一个维度，只取第二个维度的规律。但这种局部规律仅记住了部分情况，却失去了预测其他情况的能力。

不过根据概率：若有一种规律只出现过一次，那么该规律是普遍规律的概率就很低，而学到这个规律的个体很难存活。但若有一种规律反复出现，那么该规律是普遍规律的概率就比较大，而学到这个规律的个体就更有可能存活。于是在众多个体当中，部分个体产生了一种基于概率的模型筛选机制：当网络的某个连接被高频率使用时，就强化该连接的形成（回答了：为什么需要不断重复来记忆）；但当网络的某个连接被低频率使用的话，就弱化该连接的形成（回答了：为什么好不容易记住的信息会被遗忘）。这种筛选机制会使得特殊规律的模型难以存留，只有那些所有情况都有的规律才会被生物学习。随后拥有该机制的个体在残酷的自然选择中存活了下来，继续繁衍，成了我们的祖先。而这，便是为什么我们要靠不断重复来记忆，为什么好不容易记住的信息又会被遗忘。

原来我们是主动选择遗忘的，为了学习（我们的学习模式是网络学习），为了生存。

理解网络记忆

人脑长期记忆的底层机制就是网络记忆，所以我们的记忆并不能像电脑那样直接查看，只能根据输入得到对应的输出。也就是说，网络记忆实际上是在寻找所有情况的共同规律。网络记忆特点如下：

记忆缓慢：因为需要调整权重来寻找共同规律，所以网络记忆要比查找记忆慢的多。
记忆干扰：同时，共同规律往往会随新情况的到来而改变，所以我们已经形成的记忆会受新信息的干扰，而使用查找的电脑则不会。
泛化能力：但网络记忆最大的好处就是：它所找到的规律可以用来预测从来都没有见过的情况。而查找记忆则办不到这一点，只能解决你告诉过它的情况，无法解决从未被记录的情况。

这就是为什么我们比一般的机器更有创造力。接下来我们记录下 网络中的遗忘：

查找记忆的删除是一条一条的删，而网络记忆的遗忘是连接的断开；因为网络是在寻找能符合所有情况的规律。那么在这个过程中一定会出现有时断开连接，有时又重塑连接的现象。可以想象：如果一个人的大脑失去了断开连接的能力，那么他就会像记忆所有信息（就是网络的绝对过拟合），但寻找共同规律的学习能力却会严重受损。而这也是为什么现实中的雨人Kim Peek 他可以快速的看完一本书并且记住所有内容，但他的日常生活能力却异常低下，直到四岁才会走路，不会系扣子，智力测试也只有87分的原因。

当然，上面的遗忘是发生在学习过程中的权重调整。但为什么已经记住了的内容也会被遗忘？原因就在于大脑找到的规律不一定是具有普遍性的规律，难免有局部规律。所以大脑演化出了根据使用的频率来强化和弱化连接的一种机制。它既不是为了消除痛苦回忆，也不是为了节省能量，就是为了抑制局部规律形成的过拟合。

最后，本章节涉及的这些知识是机器学习中最基本的概念。但机器学习本来就是要让机器来解决学习问题，因此完全适用于日常学习。概念整理后，列表如下：

概念	解释
记忆	记住具体情况
模型的泛化能力	模型可预测未见过情况的能力
模型的过拟合	模型只记住了学习时见过的情况，却无法预测未见过情况的现象
学习	从已知情况中寻找可预测未知情况的规律的过程。
查找记忆	将信息作为状态，存储到不同的地址中的记忆方式
网络记忆	构建一个模型来根据输入计算出对应的输出的记忆方式，可被视为过拟合的学习
网络学习	可被视为泛化的记忆
网络记忆位置	由所有连接共同存储
学习中的遗忘	寻找共同规律（学习）过程中由于调整权重所造成的连接断开
学习后的遗忘	为提高泛化能力，根据连接被使用的频率强化或弱化连接的一种模型筛选机制