状态很多和动作很多是有细微差别的两类问题，看到大家都提到了function approximation，这是用来处理状态很多情况的好方法，但是动作很多则需要一些额外的方法支撑。

当状态来自元素极多的离散集合(如下棋)时，或者根本就是个连续向量(如word embedding)时，用表格法存储会遇到两个大问题：1)这张表太大存不下来，2)样本太过稀疏基于采样的算法不收敛(curse of dims)。此时，function approximation是常用的解决手段。用一族参数化的函数来表达未知函数，只要参数数量不是很多就可以在实际系统中用起来。与此同时，参数化函数表达如果使用得当(e.g. 避免了overfitting)还可以有泛化的功能，减少了所需样本量。这一类方法在参数化函数的使用形式上很像regression问题。DeepMind提出的DQN ([1312.5602] Playing Atari with Deep Reinforcement Learning ) 就是上述方法的一个很现代的好例子，网上已经有way to many implementations，mine included (zaxliu/dqn4wirelesscontrol)，欢迎交流。

动作元素极多的情况更tricky，但是因为没有大状态空间问题普遍所以以往的讨论较少。不普遍不代表不重要，例如自然语言序列到序列问题，就是状态与动作空间双高的例子，而实际世界的控制问题则大多是状态动作双连续的。

其实这里面也有两个问题：表示和搜索。大动作空间的表示与大状态空间异曲同工。为解释清楚，从David Silver课件里偷一张图，如果采用下图中间的action-in形式，那么动作和状态其实是等价的，e.g. 动作是图片就用CNN，动作是序列就用RNN。如果采用下图右侧的action-out形式，那么就需要采用相应的逆操作，比如图片用反卷积，序列用RNN decoder。

大动作空间的搜索是个更难的问题。例如在Q learning算法中，需要搜索当前状态s下所有动作里面Q值最大的那一个。当action space离散且很大的时候，基于遍历求max的时间复杂度显然是不能忍受的。此外，当action space是连续空间时，这个max是在非凸函数上求全局最大，难度可想而知。并且对于这个问题，我并不认为随机策略梯度(stochastic policy gradient)是什么良药，因为依旧需要遍历全部action space或者其中概率大于一定阈值的子集，因此使用起来往往需要搭配其他的方法。(例如Bahdanau的这篇文章 [1607.07086] An Actor-Critic Algorithm for Sequence Prediction 中就结合了beam search和策略梯度，还有AlphaGo中的蒙特卡洛树搜)

虽然对于巨大离散的动作空间尚无良药，但是在连续决策空间中这两年DeepMind又贡献了一些很有启发意义的工作。其一是确定性策略梯度(Deterministic Policy Gradient，DPG)。这个方法巧妙地用actor-critic架构求得一种新的策略梯度方向，可以很容易地和神经网络的BP梯度计算法结合。另一篇是[1603.00748] Continuous Deep Q-Learning with Model-based Acceleration ，则通过对value function进行局部的二阶正定近似假设，求得policy更新的闭式表达。遗憾的是连续决策空间中的工作均没有较好的理论基础(DPG那篇文章的推导至今没找到...)，也说明还有研究的空间。