如何将一个向量投影到一个平面上_到标准单纯型集合的投影算法

本文介绍到标准单纯型集(The Standard Simplex Set)的投影算法。

1. 简介

在优化算法当中，我们的目标问题常常带有各种各样的限制条件。例如在某项投资活动中，我们想计算投入为多少时收益最大，那么我们的投入应该是被限制为大于等于零的，而不能为负数，并且我们能投资的最大金额也是有限制的。为了得到符合条件的解，我们将不合条件的“待选解”投影(可看作一种调整方式)到条件限制的范围内是我们做带限制优化的一个重要方法。本文中，我们介绍两种如何将维空间中一点投影到标准单纯型(The Standard Simplex)上的方法。具体地，我们讨论将点(其中，且对, )投影到集合

中。限制为的优化问题在许多应用中都有出现。例如，在量化投资中，我们常常需要计算投资组合的权重。假设有支股票，我们用维空间中的一点来表示投资的权重，即表示我们将在第支股票投资的比例。因此，我们需要将限制在集合中。限制为集合的优化问题也出现在微分方程和最优传输等领域中。在第一个算法中，我们找到两个集合和，使得。然后，我们通过交替投影到集合和上，来实现投影到上的目的。接着，我们改变度量距离的方式，探讨归一化操作，即，如何解释为点到集合的基于Bregman距离的投影。我们需要提醒的是，交替投影的算法并不是解决这一问题的最高效的办法。有兴趣的读者可以参考下面论文及其相关论文：https://arxiv.org/pdf/1101.6081.pdf。 2. 交替投影这里，我们定义集合和，使得

并且

我们注意到。我们先分别考虑到与的投影，然后讨论投影到的交替投影。

2.1 到的投影

观察的定义，我们可知是以向量为法向量的超平面(超平面可以想象成二维平面在高维中的拓展。想象成二维平面即可)。将点投影到上相当于将投影在定义的超平面上。根据投影的定义，投影点为超平面中离点最近的点。因此，为下列优化问题的最优解：

。

这里，我们并不直接求解上述优化问题，而是通过几何的的办法来求。假设为投影点。那么向量平行于超平面的法线，即

。

同时，因为点在超平面内，我们有

。

让。所以，对于所有，。将上式带入，我们得到

。

我们得到。因此，满足公式：

我们得到了的表达式。但从可以看出，我们并不能保证公式求得的在集合中。我们需要考虑到的投影。

2.2 到的投影

根据的定义，我们可知包含了维空间中的正象限围成的区域。如在时，为下图中与轴中值为正的部分围成的阴影区域。

因此，将投影到办法相对简单，只需要将小于的分量变成即可。即，。我们注意到将投影到上并不能保证在超平面上。

2.3 交替投影

现在我们考虑将投影到集合。我们注意到并且我们已经知道了如何将分别投影到和。我们用交替投影，将投影到。具体地，我们将投影到上，得到点。再将投影到上，得到点。接下来，我们将点再投影到上，依次重复，直到得到的投影点收敛。

下列为Matlab代码，实现将随机生成的维正向量交替投影到集合的过程。

%这里考虑10维的点，即n=10n=10;%生成一个随机的正向量prand('seed',5);p=1+rand(1,n);%normal: C0的法向量normal=ones(1,n);error=10^3;threshold=10^(-12);%定义中间变量p0=p; p1=p;while error>threshold  %投影到C0上  p1=p0-1/n*(sum(p0)-1)*normal;  %投影到C1上  p1=max(p1,0);  %计算误差  error=sum((p1-p0).^2);  p0=p1;endpstar=p0

3. 基于Bregman距离的投影

这一节，我们假设点的所有分量满足，。让我们回到投影的定义。将投影到意思是在中找到一个点，使得到点的距离比点到上其它点的距离都近。在前面的讨论中，例如问题中，我们使用欧几里得距离。因此，我们需要找到，使得其为下列优化问题的解：

。

这里，我们使用Bregman距离来代替欧几里得距离。具体地，我们将基于可微的凸函数的Bregman距离，记做，定义为

其中，为的导数，与为维空间中的点，并且，。因为是凸函数，根据凸函数的定义，对任意满足，的点, ，我们有。并且。因此，可以看成与之间的距离。基于定义的Bregman距离，我们将投影到上，亦即，我们试图找到使得其为下列问题的最小值点：

。

这里，我们取，我们有。因此，

化简后，问题等价于

注意到中，函数保证了在最小值点处，最小值点的坐标值为非负数。所以，我们可以省略掉的限制。因此，等价于下列优化问题：

为求解，我们利用拉格朗日乘子法。我们定义函数，

在最小值点处，我们有，。所以，我们有，进而，我们有。所以，。因此，问题的最小值点满足

。

从中可以看出，归一化操作，即，可以解释为点到集合的基于Bregman距离的投影。