非线性降维的全球几何框架

非线性降维的全球几何框架

约书亚·蒂

Science 290,2319 (2000);

DOI：10.1126 / science.290.5500.2319

如果你想把这篇文章分发给其他人, 您可以点击这里为您的同事、客户或商业客户订购高质量的副本。

可以通过遵循这里的指南获得重新发布或重新使用文章或文章部分的许可。

与本文相关的以下资源可从以下网站在线获得：www.sciencemag.org (this information is current as of July 25,2012):

更新的信息和服务, 包括高分辨率数字，可在本文的在线版本中找到：http://www.sciencemag.org/content/290/5500/2319.full.html

支持在线材料可在：

http://www.sciencemag.org/content/suppl/2000/12/21/290.5500.2319.DC1.html

Supporting Online Material

与本文相关的科学网站上选定的附加文章列表可在：

http://www.sciencemag.org/content/290/5500/2319.full.html#related

这篇文章引用了29篇文章，其中10篇可以免费访问：

http://www.sciencemag.org/content/290/5500/2319.full.html#ref-list-1

这篇文章已被708篇文章引用在ISI科学网上

这篇文章已被高线出版社主办的53篇文章引用；见：

http://www.sciencemag.org/content/290/5500/2319.full.html#related-urls

本文出现在以下主题集合中：

心理学

http://www.sciencemag.org/cgi/collection/psychology

报告

非线性降维的全球几何框架

Joshua B. Tenenbaum，1 * Vin de Silva，2John C. Langford3

科学家在处理大量高维数据（例如全球气候模式，恒星光谱或人类基因分布）时，经常会遇到降维问题：寻找隐藏在高维观测中的有意义的低维结构。人脑在日常感知中面临着同样的问题，从其高维感官输入中提取了3万听觉神经纤维或106视神经纤维，这是数量很少的感知相关特征。在这里，我们描述了一种解决降维问题的方法，该方法使用易于测量的局部度量信息来学习数据集的基础全局几何。与经典技术（例如主成分分析（PCA）和多维缩放（MDS））不同，我们的方法能够发现非线性的自由度，这些自由度是复杂自然观察的基础，例如人类手写或在不同观看条件下的面部图像。与以前的非线性降维算法相比，我们有效地计算了全局最优解，并且对于一类重要的数据流形，可以保证渐近收敛到真实结构。

在图1A中示出了从视觉感知领域降维的典型问题。输入包含在不同姿势和光照条件下以特定顺序观察到的许多人脸图像。可以将这些图像视为高维向量空间中的点，每个输入维对应于图像中一个像素的亮度或一个视网膜神经节细胞的放电速率。尽管输入维数可能非常高（例如，对于这64个像素乘以64个像素的图像，为4096），但是这些图像的在感知上有意义的结构具有更少的独立自由度。在4096维输入空间内，所有图像都位于固有的三维流形或约束表面上，可以通过两个位姿变量和一个方位角照明角度对其进行参数设置。我们的目标是，仅给出无序的高维输入，即可发现具有捕获数据集固有自由度的坐标的低维表示形式（例如图1A）。这个问题不仅在视觉研究（1-5）中，而且在言语（6、7），运动控制（8、9）以及一系列其他物理和生物科学（10-12）中都至关重要。

降维的经典技术PCA和MDS易于实施，可高效计算，并确保发现位于高维输入空间的线性子空间上或附近的数据的真实结构（13）。 PCA发现在高维输入空间中测量的数据点的低维嵌入可以最好地保留其方差。古典MDS找到了一个保留点间距离的嵌入，当这些距离是欧几里得时，等效于PCA。但是，许多数据集包含PCA和MDS不可见的基本非线性结构（4、5、11、14）。例如，这两种方法都无法检测到面部数据集的真实自由度（图1A），甚至无法检测其固有的三维度（图2A）。在这里，我们描述了一种结合了PCA和MDS的主要算法功能（计算效率，全局最优性和渐近收敛性保证）的方法，该方法可以灵活地学习各种非线性流形。图3A说明了数据位于二维“瑞士卷”上时的非线性挑战：在基础流形上相距很远的点（通过测地线或最短路径的距离来衡量）在高维输入中可能看起来像是接近的空间，以它们的直线欧几里得距离来衡量。只有测地距离反映了流形的真正低维几何形状，但是PCA和MDS只能看到欧几里得结构；反之亦然。因此，他们无法检测固有的二维性（图2B）。我们的方法建立在经典MDS的基础上，但力求保留数据的固有几何形状，如所有对数据点之间的测地线歧管距离中所捕获的一样。关键在于估计仅在输入空间距离的情况下，遥远点之间的测地线距离。对于相邻点，输入空间距离提供了一个很好的到测地线距离的近似值。

对于较远的点，可以通过将相邻点之间的“短跳”序列相加来近似测地距离。通过找到图中的最短路径（具有连接相邻数据点的边）可以有效地计算出这些近似值。完整的等距特征映射或Isomap算法包括三个步骤，如表1所示。第一步，根据点对i之间的距离dX（i，j）确定哪些点是流形M上的相邻点， j是输入空间X中的j。两种简单的方法是将每个点连接到某个固定半径e内的所有点，或连接到它的所有K个最近的邻居（15）。这些邻域关系表示为数据点上的加权图G，相邻点之间的权重为dX（i，j）的边缘（图3B）。

在第二步中，Isomap通过计算图形G中的最短路径距离dG（i，j）来估计歧管M上所有点对之间的测地距离dM（i，j）。一种简单的算法（16）用于查找表1给出了最短路径。

最后一步将经典MDS应用于图距离DG= {dG（i，j）}的矩阵，从而将数据嵌入d维欧几里得空间Y中，从而最好地保留流形的估计固有几何形状（图3C）。选择Y中点的坐标向量yi以最小化成本函数

E = ||t(DG)- t(DY)||L2 (1)

DY表示欧几里得距离的矩阵{dY(i,j) = ||yi – yj||} and||A||L2 L2matrix规范=i,jAij2。t运算符将距离转换为内积（17），以支持高效优化的形式唯一地表征数据的几何形状。方程的全局最小值通过将坐标yito设置为矩阵t（DG）的顶部d个特征向量，可以得到图1所示的结果（13）。与PCA或MDS一样，当Y的维数增加时，可以根据误差的减少来估计数据的真实维数。对于经典方法失败的Swiss Roll，Isomap的剩余方差正确地在d 5 2见底（图2B）。就像有足够的数据可以保证PCA和MDS恢复线性流形的真实结构一样，Isomap也可以渐近地保证恢复严格更大类别的非线性流形的真实尺寸和几何结构。像瑞士卷一样，这些歧管的固有几何形状是欧氏空间凸形区域的歧管，但在高维输入空间中的周围几何形状可能会高度折叠，扭曲或弯曲。对于非欧几里德流形，例如半球或甜甜圈表面，Isomap仍会生成一个全局最优的低维欧几里得表示，如等式1所示。 1.渐近收敛的这些保证基于以下证明：随着数据点数量的增加，图距离dG（i，j）提供了更接近于内在测地距离dM（i，j）的近似值，从而在距离上任意精确。无限数据的限制（18，19）。 dG（i，j）收敛到dM（i，j）的速度取决于流形的某些参数，因为它位于高维空间（曲率半径和分支间隔）内，并且取决于点的密度。就数据集呈现这些参数的极值或偏离均匀密度的程度而言，渐近收敛通常仍然成立，但是准确估计测地距离所需的样本大小可能不切实际。 Isomap的全局坐标提供了一种根据其固有的非线性自由度来分析和处理高维观测值的简单方法。对于已知具有三个自由度的一组合成人脸图像，Isomap可以正确检测尺寸（图2A）并分离出真正的潜在因素（图1A）。该算法还恢复了一组嘈杂的真实图像的已知低维结构，该图像是由人的手指延伸和手腕旋转变化产生的（图2C）（20）。给定更复杂的手写数字数据集（没有清晰的流形几何），Isomap仍然可以找到全局有意义的坐标（图1B）和PCA或MDS无法检测到的非线性结构（图2D）。对于所有这三个数据集，低维坐标空间中遥远点之间的线性插值的自然出现证实了Isomap已捕获了数据的感知相关结构（图4）。先前将PCA和MDS扩展到非线性数据集的尝试分为两大类，每类都受到我们方法克服的局限性的困扰。正如我们在图1中所做的那样，局部线性技术（21–23）并非旨在表示单个坐标系内数据集的全局结构。基于贪婪优化程序（24–30）的非线性技术试图发现全局结构，但缺少Isomap从PCA和MDS继承的关键算法功能：一种非迭代的多项式时间过程，可保证全局最优；对于本质上的多种形式保证渐近收敛到真实结构；发现任意维数的流形的能力，而不需要从开始就初始化的固定d或在d中呈指数增长的计算资源。在这里，我们已经证明了Isomap在为其视觉上引人注目的结构选择的数据集上的性能，但是该技术可以应用于非线性几何使PCA或MDS使用变得复杂的任何地方。 Isomap可基于更高阶统计量（例如独立分量分析）来补充PCA的线性扩展，并且可以与之结合使用（31、32）。它也可能导致人们更好地理解大脑是如何表示物体的动态外观的，其中视运动的心理物理学研究（33，34）提出了非线性流形上的测地变换的中心作用（35），就像这里研究的那样。

图1.（A）视觉感知的典型降维问题。输入由一系列4096维向量组成，这些向量表示以不同姿势和光照方向渲染的面部的64像素乘64像素图像的亮度值。 Isomap（K 5 6）用于N 5698原始图像，可以学习数据的固有几何结构的三维嵌入。显示了二维投影，原始输入图像（红色圆圈）的样本叠加在所有表示第三维的数据点（蓝色）和水平滑块（图像下方）上。嵌入的每个坐标轴与原始数据的一个自由度高度相关：左右姿势（x轴，R 5 0.99），上下姿势（y轴，R 5 0.90）和照明方向（滑块位置，R） 5 0.92）。赋予Isomap的输入空间距离dX（i，j）是4096维图像向量之间的欧几里得距离。（B）Isomap应用于来自MNIST数据库（40）的N 5 1000个手写“ 2”。此处显示的Isomap嵌入中两个最重要的维度明确说明了“ 2”的主要特征：下环（x轴）和上弓（y轴）。输入空间距离dX（i，j）是通过切线距离测量的，该距离是一种旨在捕获与手写识别相关的不变性的度量（41）。这里我们使用e-Isomap（e 5 4.2）是因为我们并不希望在整个数据集上保持恒定的维数。与此相符，Isomap发现了从较高维度的数据量中投射出的卷须，并在数字中代表了额外笔画或装饰物的连续夸张。

图2. PCA（空心三角形），MDS的残差[在（A）到（C）中的空心三角形；（D）中的空心圆]，以及四个数据集（42）上的Isomap（实心圆）。（A）脸部图像的姿势和照度有所不同（图1A）。（B）瑞士卷数据（图3）。（C）手指伸出和手腕旋转时手图像有所不同（20）。（D）手写“ 2”（图1B）。在所有情况下，残余差异随着维数d的增加而减小。数据的固有维数可以通过查找“弯头”来估计，在该“弯头”处，曲线随添加维数而不再显着减小。已知时，箭头标记真实或近似尺寸。请注意，与Isomap相比，PCA和MDS倾向于高估尺寸。

图3.“瑞士卷”数据集，说明了Isomap如何利用测地线路径进行非线性降维。（A）对于非线性流形上的两个任意点（带圆圈），它们在高维输入空间中的欧几里得距离（虚线的长度）可能无法准确反映其内在相似性，这是通过沿低维流形上的测地距离（长度实曲线）。（B）在Isomap的第一步中构造的邻域图G（具有K = 7和N = 1000个数据点）允许在第二步中有效地计算真实测地路径的近似值（红色线段），作为其中的最短路径G.（C）由Isomap在第三步中恢复的二维嵌入，它最好地在邻域图中保留了最短的路径距离（重叠）。现在，与相应的图形路径（红色）相比，嵌入中的直线（蓝色）表示对真实测地路径更简单，更清晰的近似值。

图4.沿着Isomap坐标空间中的直线进行插值（类似于图3C中的蓝线），通过将它们大致沿测地线变换来实现相应高维观测值（43）的感知上自然但高度非线性的“变形” （类似于图3A中的实线）。（A）在人脸图像的三维嵌入中进行插值（图1A）。（B）快速连续观看时，手部图像（20）的四维嵌入中的内插显示为自然的手部运动，即使在观察到的数据中未发生此类运动。（C）手写“ 2”（图1B）的六维嵌入中的插值不仅在环和弓形关节的视觉特征中，而且在隐含的笔迹轨迹（即真实的自由度）中都保持连续性这些外观的基础。

表1. Isomap算法将所有对i，j之间的距离dX（i，j）与高维输入空间X中的N个数据点之间的距离作为输入，以标准欧几里德度量标准进行测量（如图1A所示）或采用某些特定于域的指标（如图1B所示）。该算法在d维欧几里得空间Y中输出坐标矢量yi（根据等式1），该向量最好地表示数据的固有几何形状。唯一的自由参数（e或K）出现在步骤1中。

通过连接点i和j定义所有数据点上的图形G，如果[按dX（i，j）进行测量]比e（e-Isomap）更近，或者如果i是j的K个最近邻居之一（ K-Isomap）。设置边长等于dX（i，j）

步骤

1.构造邻域图

初始化dG（i，j）5 dX（i，j）i f i，j由边链接； dG（i，j）5’否则。然后对于k 5 1、2，...的每个值。。。，N依次替换y min {dG（i，j），dG（i，k）1 dG（k，j）}的所有条目dG（i，j）。最终值DG5 {dG（i，j）}的矩阵将包含G（16，19）中所有点对之间的最短路径距离。

2.计算最短路径

令lp为矩阵t（DG）的第p个特征值（按降序排列）（17），而vp i为第p个特征向量的第i个分量。然后设置d维坐标的第p个分量

3.构造d维嵌入

参考和注释

1. M. P. Young, S. Yamane, Science 256, 1327 (1992).

2. R. N. Shepard, Science 210, 390 (1980).

3. M. Turk, A. Pentland, J. Cogn. Neurosci. 3, 71 (1991).

4. H. Murase, S. K. Nayar, Int. J. Comp. Vision 14, 5

(1995).

5. J. W. McClurkin, L. M. Optican, B. J. Richmond, T. J.

Gawne, Science 253, 675 (1991).

6. J. L. Elman, D. Zipser, J. Acoust. Soc. Am. 83, 1615

(1988).

7. W. Klein, R. Plomp, L. C. W. Pols, J. Acoust. Soc. Am.

48, 999 (1970).

8. E. Bizzi, F. A. Mussa-Ivaldi, S. Giszter, Science 253, 287

(1991).

9. T. D. Sanger, Adv. Neural Info. Proc. Syst. 7, 1023

(1995).

10. J. W. Hurrell, Science 269, 676 (1995).

11. C. A. L. Bailer-Jones, M. Irwin, T. von Hippel, Mon.

Not. R. Astron. Soc. 298, 361 (1997).

12. P. Menozzi, A. Piazza, L. Cavalli-Sforza, Science 201,

786 (1978).

13. K. V. Mardia, J. T. Kent, J. M. Bibby, Multivariate

Analysis, (Academic Press, London, 1979).

14. A. H. Monahan, J. Clim., in press.

15. The scale-invariant K parameter is typically easier to

set than e, but may yield misleading results when the

local dimensionality varies across the data set. When

available, additional constraints such as the temporal

ordering of observations may also help to determine

neighbors. In earlier work (36) we explored a more

complex method (37), which required an order of

magnitude more data and did not support the theo-

retical performance guarantees we provide here for

e- and K-Isomap.

16. This procedure, known as Floyd’s algorithm, requires

O(N 3 ) operations. More efficient algorithms exploit-

ing the sparse structure of the neighborhood graph

can be found in (38).

17. The operator t is defined by t(D) 5 2HSH/2, where S

is the matrix of squared distances {S ij 5 D ij

2 }, and H is

the “centering matrix” {H ij 5 d ij 2 1/N} (13).

18. Our proof works by showing that for a sufficiently

high density (a) of data points, we can always choose

a neighborhood size (e or K) large enough that the

graph will (with high probability) have a path not

much longer than the true geodesic, but small

enough to prevent edges that “short circuit” the true

geometry of the manifold. More precisely, given ar-

bitrarily small values of l 1 , l 2 , and m, we can guar-

antee that with probability at least 1 2 m, estimates

of the form

~1 2 l 1 !d M ~i,j! # d G ~i,j! # ~1 1 l 2 !d M ~i,j!

will hold uniformly over all pairs of data points i,j. For

e-Isomap, we require

e # ~2/p!r 0 ˛ 24l 1 , e , s 0 ,

a . @log~V/mh d ~l 2 e/16! d !#/h d ~l 2 e/8! d

where r 0 is the minimal radius of curvature of the

manifold M as embedded in the input space X, s 0 is

the minimal branch separation of M in X, V is the

(d-dimensional) volume of M, and (ignoring boundary

effects) h d is the volume of the unit ball in Euclidean

d-space. For K-Isomap, we let e be as above and fix

the ratio (K 1 1)/a 5 h d (e/2) d /2. We then require

e 2~K11!/4 # mh d ~e/4! d /4V,

~e/4! ~K11!/ 2 # mh d ~e/8! d /16V,

a . @4 log~8V/mh d ~l 2 e/32p! d !#/h d ~l 2 e/16p! d

The exact content of these conditions—but not their

general form—depends on the particular technical

assumptions we adopt. For details and extensions to

nonuniform densities, intrinsic curvature, and bound-

ary effects, see http://isomap.stanford.edu.

19. In practice, for finite data sets, d G (i,j) may fail to

approximate d M (i,j) for a small fraction of points that

are disconnected from the giant component of the

neighborhood graph G. These outliers are easily de-

tected as having infinite graph distances from the

majority of other points and can be deleted from

further analysis.

20. The Isomap embedding of the hand images is avail-

able at Science Online at www.sciencemag.org/cgi/

content/full/290/5500/2319/DC1. For additional

material and computer code, see http://isomap.

stanford.edu.

21. R. Basri, D. Roth, D. Jacobs, Proceedings of the IEEE

Conference on Computer Vision and Pattern Recog-

nition (1998), pp. 414–420.

22. C. Bregler, S. M. Omohundro, Adv. Neural Info. Proc.

Syst. 7, 973 (1995).

23. G. E. Hinton, M. Revow, P. Dayan, Adv. Neural Info.

Proc. Syst. 7, 1015 (1995).

24. R. Durbin, D. Willshaw, Nature 326, 689 (1987).

25. T. Kohonen, Self-Organisation and Associative Mem-

ory (Springer-Verlag, Berlin, ed. 2, 1988), pp. 119–

157.

26. T. Hastie, W. Stuetzle, J. Am. Stat. Assoc. 84, 502

(1989).

27. M. A. Kramer, AIChE J. 37, 233 (1991).

28. D. DeMers, G. Cottrell, Adv. Neural Info. Proc. Syst. 5,

580 (1993).

29. R. Hecht-Nielsen, Science 269, 1860 (1995).

30. C. M. Bishop, M. Svense ´n, C. K. I. Williams, Neural

Comp. 10, 215 (1998).

31. P. Comon, Signal Proc. 36, 287 (1994).

32. A. J. Bell, T. J. Sejnowski, Neural Comp. 7, 1129

(1995).

33. R. N. Shepard, S. A. Judd, Science 191, 952 (1976).

34. M. Shiffrar, J. J. Freyd, Psychol. Science 1, 257 (1990).

35. R. N. Shepard, Psychon. Bull. Rev. 1, 2 (1994).

36. J. B. Tenenbaum, Adv. Neural Info. Proc. Syst. 10, 682

(1998).

37. T. Martinetz, K. Schulten, Neural Netw. 7, 507 (1994).

38. V. Kumar, A. Grama, A. Gupta, G. Karypis, Introduc-

tion to Parallel Computing: Design and Analysis of

Algorithms (Benjamin/Cummings, Redwood City, CA,

1994), pp. 257–297.

39. D. Beymer, T. Poggio, Science 272, 1905 (1996).

40. Available at www.research.att.com/;yann/ocr/mnist.

41. P. Y. Simard, Y. LeCun, J. Denker, Adv. Neural Info.

Proc. Syst. 5, 50 (1993).

42. In order to evaluate the fits of PCA, MDS, and Isomap

on comparable grounds, we use the residual variance

1 – R2(DˆM, DY). DYis the matrix of Euclidean distanc-

es in the low-dimensional embedding recovered by

each algorithm. DˆMis each algorithm’s best estimate

of the intrinsic manifold distances: for Isomap, this is

the graph distance matrix DG; for PCA and MDS, it is

the Euclidean input-space distance matrix DX(except

with the handwritten “2”s, where MDS uses the

tangent distance). R is the standard linear correlation

coefficient, taken over all entries of DˆMand DY.

43. In each sequence shown, the three intermediate im-

ages are those closest to the points 1/4, 1/2, and 3/4

of the way between the given endpoints. We can also

synthesize an explicit mapping from input space X to

the low-dimensional embedding Y, or vice versa, us-

ing the coordinates of corresponding points {xi, yi} i n

both spaces provided by Isomap together with stan-

dard supervised learning techniques (39).

44. Supported by the Mitsubishi Electric Research Labo-

ratories, the Schlumberger Foundation, the NSF

(DBS-9021648), and the DARPA Human ID program.

We thank Y. LeCun for making available the MNIST

database and S. Roweis and L. Saul for sharing related

unpublished work. For many helpful discussions, we

thank G. Carlsson, H. Farid, W. Freeman, T. Griffiths,

R. Lehrer, S. Mahajan, D. Reich, W. Richards, J. M.

Tenenbaum, Y. Weiss, and especially M. Bernstein.

10 August 2000; accepted 21 November 2000

非线性降维的全球几何框架相关推荐

【Joshua B. Tenenbaum】非线性降维的全局几何框架
完整原文下载地址: http://page2.dfpan.com/fs/8l3cbj42b2b192b9160/ 更多精彩文章请关注微信号:
双目视觉几何框架详解（玉米专栏8篇汇总）
一.图像坐标:我想和世界坐标谈谈(A) 玉米竭力用轻松具体的描述来讲述双目三维重建中的一些数学问题.希望这样的方式让大家以一个轻松的心态阅读玉米的<计算机视觉学习笔记>双目视觉数学架构系列 ...
（七）立体标定与立体校正【计算机视觉学习笔记--双目视觉几何框架系列】
七.立体标定与立体校正这篇博文中,让玉米和大家一起了解一下,张氏标定是怎样过渡到立体标定的?在这里主要以双目立体视觉进行分析.对于双目立体视觉,我们有两个摄像头.它们就像人的一双眼睛一样,从不同的方 ...
双目立体视觉几何框架详解
一.图像坐标系:世界坐标系 (1)图像坐标和世界坐标(A) 视觉系统的三大坐标系:世界坐标系,摄像机坐标系和图像坐标系. 世界坐标系(XW,YW,ZW):其是目标物体位置的参考系.除了无穷远, ...
非线性降维方法 Isomap Embedding
Isomap Embedding 等距特征映射是一种新颖,高效的非线性降维技术,它的一个突出优点是只有两个参数需要设定,即邻域参数和嵌入维数. 在文章中,我们讨论一下问题: Isomap 属于哪一类机 ...
非线性降维（Nonlinear dimensionality reduction）
高维数据意味着需要多于两个或三个维度来表示的数据,可能很难解释.简化的一种方法是假设感兴趣的数据位于低维空间内.如果感兴趣的数据具有足够低的维数,则数据可以在低维空间中可视化. 下面是一些值得注意的非 ...
非线性降维算法Isomap与C-Isomap的研究
转载自 http://doc.qkzz.net/article/ab5e6012-0e56-40f6-b730-a4e6a9e8fd2f_3.htm,仅用作个人学习. 1 引言在处理高维数据如全局气 ...
张正友标定法【计算机视觉学习笔记--双目视觉几何框架系列】
三.致敬"张正友标定" 此处"张正友标定"又称"张氏标定",是指张正友教授于1998年提出的单平面棋盘格的摄像机标定方法.张氏标定法已经作为 ...
图像坐标：我想和世界坐标谈谈(A) 【计算机视觉学习笔记--双目视觉几何框架系列】
玉米竭力用轻松具体的描述来讲述双目三维重建中的一些数学问题.希望这样的方式让大家以一个轻松的心态阅读玉米的<计算机视觉学习笔记>双目视觉数学架构系列博客.这个系列博客旨在捋顺一下已标定的双 ...

非线性降维的全球几何框架

非线性降维的全球几何框架相关推荐

最新文章

热门文章