作者丨拉燕 如願 好困

来源丨新智元

【导读】谷歌Meta之争看来还没完！TensorFlow干不过还有JAX，二番战能否战胜PyTorch？

很喜欢有些网友的一句话：

「这孩子实在不行，咱再要一个吧。」

谷歌还真这么干了。

养了七年的TensorFlow终于还是被Meta的PyTorch干趴下了，在一定程度上。

谷歌眼见不对，赶紧又要了一个——「JAX」，一款全新的机器学习框架。

最近超级火爆的DALL·E Mini都知道吧，它的模型就是基于JAX进行编程的，从而充分地利用了谷歌TPU带来的优势。

TensorFlow的黄昏和PyTorch的崛起

2015年，谷歌开发的机器学习框架——TensorFlow问世。

当时，TensorFlow只是Google Brain的一个小项目。

谁也没有想到，刚一问世，TensorFlow就变得非常火爆。

优步、爱彼迎这种大公司在用，NASA这种国家机构也在用。而且还都是用在他们各自最为复杂的项目上。

而截止到2020年11月，TensorFlow的下载次数已经达到了1.6亿次。

不过，谷歌好像并没有十分在乎这么多用户的感受。

奇奇怪怪的界面和频繁的更新都让TensorFlow对用户越来越不友好，并且越来越难以操作。

甚至，就连谷歌内部，也觉得这个框架在走下坡路。

其实谷歌如此频繁的更新也实属无奈，毕竟只有这样才能追得上机器学习领域快速地迭代。

于是，越来越多的人加入了这个项目，导致整个团队慢慢失去了重点。

而原本让TensorFlow成为首选工具的那些闪光点，也被埋没在了茫茫多的要素里，不再受人重视。

这种现象被Insider形容为一种「猫鼠游戏」。公司就像是一只猫，不断迭代出现的新需求就像是一只只老鼠。猫要时刻保持警惕，随时扑向老鼠。

这种困局对最先打入某一市场的公司来说是避不开的。

举个例子，就搜索引擎来说，谷歌并不是第一家。所以谷歌能够从前辈（AltaVista、Yahoo等等）的失败中总结经验，应用在自身的发展上。

可惜到了TensorFlow这里，谷歌是被困住的那一个。

正是因为上面这些原因，原先给谷歌卖命的开发者，慢慢对老东家失去了信心。

昔日无处不在的TensorFlow渐渐陨落，败给了Meta的后起之秀——PyTorch。

2017年，PyTorch的测试版开源。

2018年，Facebook的人工智能研究实验室发布了PyTorch的完整版本。

值得一提的是，PyTorch和TensorFlow都是基于Python开发的，而Meta则更注重维护开源社区，甚至不惜大量投入资源。

而且，Meta关注到了谷歌的问题所在，认为不能重蹈覆辙。他们专注于一小部分功能，并把这些功能做到最好。

Meta并没有步谷歌的后尘。这款首先在Facebook开发出来的框架，慢慢成为了行业标杆。

一家机器学习初创公司的研究工程师表示，「我们基本都用PyTorch。它的社群和开源做得是最出色的。不仅有问必答，给的例子也很实用。」

面对这种局面，谷歌的开发者、硬件专家、云提供商，以及任何和谷歌机器学习相关的人员在接受采访时都说了一样的话，他们认为TensorFlow失掉了开发者的心。

经历了一系列的明争暗斗，Meta最终占了上风。

有专家表示，谷歌未来继续引领机器学习的机会正慢慢流失。

PyTorch逐渐成为了寻常开发者和研究人员的首选工具。

从Stack Overflow提供的互动数据上看，在开发者论坛上有关PyTorch的提问越来越多，而关于TensorFlow的最近几年一直处于停滞状态。

就连文章开始提到的优步等等公司也转向PyTorch了。

甚至，PyTorch后来的每一次更新，都像是在打TensorFlow的脸。

谷歌机器学习的未来——JAX

就在TensorFlow和PyTorch打得热火朝天的时候，谷歌内部的一个「小型黑马研究团队」开始致力于开发一个全新的框架，可以更加便捷地利用TPU。

2018年，一篇题为《Compiling machine learning programs via high-level tracing》的论文，让JAX项目浮出水面，作者是Roy Frostig、Matthew James Johnson和Chris Leary。

从左至右依次是这三位大神

而后，PyTorch原始作者之一的Adam Paszke，也在2020年初全职加入了JAX团队。

JAX提供了一个更直接的方法用于处理机器学习中最复杂的问题之一：多核处理器调度问题。

根据所应用的情况，JAX会自动地将若干个芯片组合而成一个小团体，而不是让一个去单打独斗。

如此带来的好处就是，让尽可能多的TPU片刻间就能得到响应，从而燃烧我们的「炼丹小宇宙」。

最终，相比于臃肿的TensorFlow，JAX解决了谷歌内部的一个心头大患：如何快速访问TPU。

下面简单介绍一下构成JAX的Autograd和XLA。

Autograd主要应用于基于梯度的优化，可以自动区分Python和Numpy代码。

它既可以用来处理Python的一个子集，包括循环、递归和闭包，也可以对导数的导数进行求导。

此外，Autograd支持梯度的反向传播，这也就这意味着它可以有效地获取标量值函数相对于数组值参数的梯度，以及前向模式微分，并且两者可以任意组合。

XLA（Accelerated Linear Algebra）可以加速TensorFlow模型而无需更改源代码。

当一个程序运行时，所有的操作都由执行器单独执行。每个操作都有一个预编译的GPU内核实现，执行器会分派到该内核实现。

举个栗子：

def model_fn(x, y, z):return tf.reduce_sum(x + y * z)

在没有XLA的情况下运行，该部分会启动三个内核：一个用于乘法，一个用于加法，一个用于减法。

而XLA可以通过将加法、乘法和减法「融合」到单个GPU内核中，从而实现优化。

这种融合操作不会将由内存产生的中间值写入y*z内存x+y*z；相反，它将这些中间计算的结果直接「流式传输」给用户，同时将它们完全保存在GPU中。

在实践中，XLA可以实现约7倍的性能改进和约5倍的batch大小改进。

此外，XLA和Autograd可以任意组合，甚至可以利用pmap方法一次使用多个GPU或TPU内核进行编程。

而将JAX与Autograd和Numpy相结合的话，就可以获得一个面向CPU、GPU和TPU的易于编程且高性能的机器学习系统了。

显然，谷歌这一次吸取了教训，除了在自家全面铺开以外，在推进开源生态的建设方面，也是格外地积极。

2020年DeepMind正式投入JAX的怀抱，而这也宣告了谷歌亲自下场，自此之后各种开源的库层出不穷。

纵观整场「明争暗斗」，贾扬清表示，在批评TensorFlow的进程中，AI系统认为Pythonic的科研就是全部需求。

但一方面纯Python无法实现高效的软硬协同设计，另一方面上层分布式系统依然需要高效的抽象。

而JAX正是在寻找更好的平衡，谷歌这种愿意颠覆自己的pragmatism非常值得学习。

causact R软件包和相关贝叶斯分析教科书的作者表示，自己很高兴看到谷歌从TF过渡到JAX，一个更干净的解决方案。

谷歌的挑战

作为一个新秀，Jax虽然可以借鉴PyTorch和TensorFlow这两位老前辈的优点，但有的时候后发可能也会带来劣势。

首先，JAX还太「年轻」，作为实验性的框架，远没有达到一个成熟的谷歌产品的标准。

除了各种隐藏的bug以外，JAX在一些问题上仍然要依赖于其他框架。

拿加载和预处理数据来说，就需要用TensorFlow或PyTorch来处理大部分的设置。

显然，这和理想的「一站式」框架还相去甚远。

其次，JAX主要针对TPU进行了高度的优化，但是到了GPU和CPU上，就要差得多了。

一方面，谷歌在2018年至2021年组织和战略的混乱，导致在对GPU进行支持上的研发的资金不足，以及对相关问题的处理优先级靠后。

与此同时，大概是过于专注于让自家的TPU能在AI加速上分得更多的蛋糕，和英伟达的合作自然十分匮乏，更不用说完善对GPU的支持这种细节问题了。

另一方面，谷歌自己的内部研究，不用想肯定都集中在TPU上，这就导致谷歌失去了对GPU使用的良好反馈回路。

此外，更长的调试时间、并未与Windows兼容、未跟踪副作用的风险等等，都增加了Jax的使用门槛以及友好程度。

现在，PyTorch已经快6岁了，但完全没有TensorFlow当年显现出的颓势。

如此看来，想要后来者居上的话，Jax还有很长一段路要走。

参考资料：

https://www.businessinsider.com/facebook-pytorch-beat-google-tensorflow-jax-meta-ai-2022-6

本文仅做学术分享，如有侵权，请联系删文。

3D视觉工坊精品课程官网：3dcver.com

1.面向自动驾驶领域的多传感器数据融合技术

2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
4.国内首个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)

9.从零搭建一套结构光3D重建系统[理论+源码+实践]

10.单目深度估计方法：算法梳理与代码实现

11.自动驾驶中的深度学习模型部署实战

12.相机模型与标定(单目+双目+鱼眼）

13.重磅！四旋翼飞行器：算法与实战

14.ROS2从入门到精通：理论与实战

15.国内首个3D缺陷检测教程：理论、源码与实战

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

圈里有高质量教程资料、答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~