PyTorch 1.7发布,支持CUDA 11、Windows分布式训练
机器之心报道
参与:魔王、小舟
昨日,PyTorch 团队发布 PyTorch 1.7 版本。该版本增添了很多新特性,如支持 CUDA 11、Windows 分布式训练、增加了支持快速傅里叶变换(FFT)的新型 API 等。
PyTorch 1.7 版本包含很多新的 API,如支持 NumPy 兼容的 FFT 操作、性能分析工具,以及对基于分布式数据并行(DDP)和基于远程过程调用(RPC)的分布式训练的重要更新。
此外,一些特性也更新为稳定版,包括自定义 C++ 类、内存分析器、通过自定义类张量对象进行扩展、RPC 中的用户异步函数,以及 torch.distributed 中的许多其他特性(如 Per-RPC 超时、DDP dynamic bucketing、RRef helper)。
本次更新的亮点包括:
CUDA 11 得到 PyTorch 官方支持;
对 autograd 分析器,更新和添加了 RPC、TorchScript 和堆栈跟踪(Stack trace)的分析和性能;
(测试版)通过 torch.fft 支持 NumPy 兼容的 FFT 操作;
(原型版)支持英伟达 A100 GPU 和原生 TF32 格式;
(原型版)支持 Windows 系统上的分布式训练。
torchvision
(稳定版)transforms 支持张量输入、批处理计算、GPU 和 TorchScript
(稳定版)JPEG 和 PNG 格式的原生图像 I/O
(测试版)新型视频读取器 API
torchaudio
(稳定版)增加了对语音录制(wav2letter)、文本转语音(WaveRNN)和源分离(ConvTasNet)的支持
(注:从 PyTorch 1.6 版本开始,PyTorch 特性分为 Stable(稳定版)、Beta(测试版)和 Prototype(原型版)。
新特性
PyTorch 1.7 相比之前版本,增加了很多新特性,包括 Python API、C++ API、Autograd、CUDA、量化等多个方面。
例如 Python API 增添了多个新的 namespace、operator 以及 API 扩展,CUDA 增加了 TF32 支持等,量化方面增加了新的量化操作、支持 FP16 量化等。
PyTorch 1.7 部分新特性,详情参见 https://github.com/pytorch/pytorch/releases/tag/v1.7.0。
开发者对 PyTorch 1.7 的态度
有开发者对 PyTorch 1.7「支持 Windows 上的分布式训练」这一新功能表示赞赏:
以及乐见于「PyTorch 对 CUDA 11 的支持」:
依然有人趁机表白 PyTorch,并列出偏好 PyTorch 的原因,如报错易读、代码直观、易于实验。
当然,版本更迭的路似乎永无止境。有开发者提出了自己的需求,例如 fp32 卷积、TensorFlow 有而 PyTorch 没有的 Semantic Versioning:
此时距离 PyTorch 1.6 版本发布仅三个月,不知道 PyTorch 的下一个版本又将带给我们哪些惊喜。
参考链接:
https://pytorch.org/blog/pytorch-1.7-released/
https://github.com/pytorch/pytorch/releases/tag/v1.7.0
https://www.reddit.com/r/MachineLearning/comments/jj4sr7/d_pytorch_17_released_w_cuda_11_new_apis_for_ffts/
© THE END
转载请联系 机器之心 公众号获得授权
投稿或寻求报道:content@jiqizhixin.com
PyTorch 1.7发布,支持CUDA 11、Windows分布式训练相关推荐
- PyTorch 1.7发布:支持CUDA 11、Windows分布式训练
木易 发自 凹非寺 量子位 报道 | 公众号 QbitAI 自从7月份CUDA 11发布以来,就陆陆续续听到了网友类似的吐槽: 这正说着,10月27日,PyTorch团队发布了PyTorch 1.7 ...
- 太棒了!PyTorch 1.7发布,支持CUDA 11、Windows分布式训练
点上方蓝字计算机视觉联盟获取更多干货 在右上方 ··· 设为星标 ★,与你不见不散 仅作学术分享,不代表本公众号立场,侵权联系删除 转载于:机器之心 AI博士笔记系列推荐 周志华<机器学习> ...
- PyTorch 1.7 发布:支持 CUDA 11、FFT 新 API、及 Windows 分布式训练
PyTorch 1.7 现已发布,此版本增加了许多新的 API.包括对与 NumPy 兼容的 FFT 操作的支持.用于性能分析的工具.以及对基于分布式数据并行(Distributed Data Par ...
- 【PyTorch】切记:GeForce RTX 3090 显卡仅支持 CUDA 11 以上的版本!
问题描述 前不久给新来的 2台 8 张 GeForce RTX 3090 服务器配置了深度学习环境(配置教程参考这篇文章),最近在使用的时候却遇到了各种问题. 问题 1:GeForce RTX 309 ...
- Apache Ant 1.9.13和1.10.5发布–支持Java 11单文件源程序
我们刚刚发布了Apache Ant的1.9.13和1.10.5版本 . 与往常一样,您可以从Ant项目下载页面下载它. 这两个版本主要是错误修复版本. 但是,1.10.5版对" java&q ...
- Windows Python PyTorch CUDA 11.7 TensorRT 环境配置
博文目录 文章目录 版本说明 版本选择 下载代码 创建并激活虚拟环境 使用 CPU 推理 安装工程运行的最少依赖 运行 detect.py 使用 Nvidia GPU 推理 安装 PyTorch CU ...
- PyTorch 1.9发布,支持新API,可在边缘设备中执行
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达 来源丨机器之心 编辑丨极市平台 导读 PyTorch 团队发布了 P ...
- PyTorch 1.9发布!移动端疯狂更新,网友:我的最爱
明敏 发自 凹非寺 量子位 报道 | 公众号 QbitAI 时隔仅3个月,PyTorch再次迎来升级--1.9版本. 这一次,官方把重头戏放在了移动端上. 不仅Mobile Interpreter发布 ...
- PyTorch 1.9发布!移动端疯狂更新
点上方计算机视觉联盟获取更多干货 仅作学术分享,不代表本公众号立场,侵权联系删除 转载于:量子位 AI博士笔记系列推荐 周志华<机器学习>手推笔记正式开源!可打印版本附pdf下载链接 时隔 ...
最新文章
- 区域设置 ID (LCID) 表, 及获取方法
- Android Studio 如何导出和导入自己的常用设置,避免重复制造轮子。加快开发速度...
- [转]ExtJS Grid 分页时保持选中的简单实现方法
- 16位汇编相关寄存器
- 我的Spring 之旅---Spring实战
- 烂泥:文件服务器搭建与使用详解,minio文件服务器搭建(单机版)
- Lake Counting POJ - 2386
- 孜然导航系统 v2.3
- 在PHP代码中处理JSON 格式的字符串的两种方法:
- Rasa课程、Rasa培训、Rasa面试系列之:Rasa客户案例Dialogue公司
- Kettle_Spoon如何将MySQL数据抽取到ES
- 阿里云DataV数据可视化简介和购买流程
- 电脑开机密码忘了怎么办
- 常见的显示屏分辨率标准汇总
- 幕课在线办公项目笔记——day1
- 阿翔编程学-WebService介绍及使用
- 利用计算机专业送礼物,送计算机教师的礼物(搞计算机的送的礼物)
- 免费开源视频会议系统Jitsi Meet自己部署记录
- php使用汉字编码,php汉字编码转换的方法
- MICCAI 2022 | CLFC:基于对比学习的多模态脑肿瘤分割与单模态正常脑图像的特征比较