研究生期间科研经验总结

从开始接触深度学习领域至今已经快三年了，这三年里也做出了一些非常微小几乎没用的工作。这里简单总结一下这三年来在这个领域里瞎搞的经验教训。以下内容从个人经历出发，主要针对深度学习领域，是一些比较宽泛的看法，仅供参考。

入门

入门要快。
我认为较好的入门方式是由宽泛到具体地阅读一系列近年的相关方向的综述。在缺乏指导的情况下，一般一开始很难确定自己具体想做什么方向。这时候可以先看几篇较为宽泛的综述，例如直接搜索“深度学习综述”，找到两三篇近两年的引用较多的综述论文开始看。一开始肯定会有很多看不懂的部分，可以对每个不懂的词分别搜索简单了解。看完这些综述之后应该会对整个领域目前的状况有些大致了解，接下来就可以对其中较感兴趣的细分方向进一步了解，比如看完深度学习的综述你可能对其中自然语言处理这个领域感兴趣，那么就重复上述的步骤去搜索了解。
以上这个步骤应该尽可能快速地完成，因为整个领域是非常大非常繁杂的，很容易就会在其中迷失。真的去看各个方向的论文的话可以看上两年不重样的，但是我们的目的是找到自己感兴趣的细分方向开始研究，所以前期调研要快一点，不要在知识的海洋里迷失。并不是说不可以宽泛地看论文，论文后续随时都可以再看，但是看论文不是做科研的全部，最重要的是自己开始动手做。
对于课程也是一样，网上的深度学习的课程非常多，讲得也非常好。课程可以跟着好好学，但不要因此而耽误自己动手去做实验。最好的学习方式是为了解决特定问题地学习，当你发现自己研究的课题有某个特定问题要解决的时候，这时候主动的搜索学习学到的东西是更加具体深刻的。

选题

选题是在缺乏指导的情况下做科研比较困难的一点。通过上面的读论文的过程，或者是老师的指导，你应该已经找到了一个打算研究的细分方向，比如文本生成，比如多模态。但是这样的方向还是比较宽泛的，接下来需要找到一个能够着手的具体的创新点。
此时需要看更新更具体的论文，并且带着问题去阅读，思考论文要解决什么问题，如果你来做你会怎样解决这个问题，论文提出的解决方法还有哪些缺陷？另外有一点就是不要太相信论文，论文不是教科书，大部分论文中都是有错误和不足的，而这些错误和不足就是你的机会。论文写作往往会写一些比较fancy的理论，试图隐藏其中有问题的部分，使整个论文看起来更合理，不要信，要有自己的分析。
要开始写代码做实验。在上一步的入门中你应该已经写了一些教学模型，这个时候需要去看论文的代码，尤其是它的核心创新点到底是怎么实现的。论文里可能说的一套一套的，但真正的实现在代码里。比如有些论文说我们的模型融合了外部知识，那么具体什么叫融合了外部知识呢？你去代码里一看，哦，原来是向量拼接。这样在实现自己的新想法的时候，也就能够把想法具体到代码之中实现了。

看论文和做实验

选题大致完成后就会进入看论文做实验的日常循环之中。首先为什么是大致完成呢？因为具体的实验方向是会随着你对这个方向的了解不断改变的，可能你会发现原来的想法走不通，或者在实验过程中发现更有意思的方向。要接受一定程度的不可控性，灵活调整。
这个阶段可能会非常挫败，大部分思路可能都行不通，而且解释失败也很难（要是知道为什么效果不好倒是可以改了）。这个阶段需要具体问题具体分析，很难给出一般性的建议了。需要在坚持和变通之间找到合适的平衡点，比如一个思路实验失败了，该继续在这个方向探索还是另找其他方向？这个平衡需要自己去把握。

善用搜索

深度学习领域的资源在网上非常多，一定要善用搜索引擎。
搜论文我一般用谷歌学术。技术问题直接用谷歌搜索，概念分析、论文解读这些中文一般也可以搜到，一般是在知乎、简书、CSDN上的博客。代码问题，特别是少见的问题用英文搜索一般都可以找到，在StackOverflow或者github issue上会有人分析。
我的经验是，大部分技术问题都可以结合搜索和分析解决。（当然需要一个梯子。）

学术交流

一个人孤独地做研究是很难坚持下来的，有交流合作会更好一些。最好在身边构筑一个交流圈子，可以共同交流讨论问题，在遇到困难的时候也可以参考其他人的意见。另一个比较个人的经验是找几个学术偶像对维持学术热情也有帮助，可以看看自己领域内有什么大神，追踪一下人家的工作。我个人比较喜欢的是yann lecun，他在对比学习，无监督学习之类方法就对我很有启发。