最新!OpenAI掌门人自曝GPU短缺,未来GPT-4会更快、更便宜
作者 | 金鹿
本文经授权转自公众号腾讯科技(ID:qqtech),如需转载,请联系对方:
机器学习和人工智能初创公司Humanloop首席执行官拉扎·哈比比(Raza Habib),5月29日邀请OpenAI首席执行官萨姆·奥特曼(Sam Altman)以及其他20多位开发者,共同探讨了人工智能的未来。奥特曼非常坦率地分享了OpenAI未来两年的产品路线图,还谈到OpenAI的使命以及人工智能的社会影响等问题。
图源:Sam Altman个人博客
以下为访谈要点:
OpenAI严重受制于GPU短缺
在整个讨论中出现的一个共同主题是,目前OpenAI的GPU供应非常有限,这导致他们推迟了许多短期计划。客户最大的抱怨是API的可靠性和速度。奥特曼承认存在这种担忧,并解释说大部分问题是因GPU短缺所致。
长度为32k的上下文功能还不能推广给更多的人。OpenAI还没有克服相关技术挑战,所以虽然看起来他们很快(今年)就会有100k到1M令牌的上下文窗口,但更大的窗口都需要在研究上取得突破。
微调API目前也受到GPU可用性的限制。它们还没有使用Adapters或LoRa等高效的调优方法,因此调优的运行和管理需要大量的计算。将来会有更好的微调支持。他们甚至可以托管一个社区贡献模型的市场。
专用容量供应受GPU可用性的限制。OpenAI也提供专用容量,为客户提供该模型的私人副本。但要使用这项服务,客户必须愿意支付相当于10万美元的费用。
OpenAI的近期路线图
奥特曼分享了他所看到的OpenAI API临时近期路线图。
2023年:
更便宜、更快的GPT-4:这是OpenAI的首要任务。总的来说,OpenAI的目标是尽可能地降低“智能成本”,因此他们将努力随着时间的推移继续降低API的成本。
更长的上下文窗口:在不久的将来,上下文窗口可能高达100万令牌。
微调API:微调API将扩展到最新的模型上,但其确切形式将由开发者真正想要的元素来决定。
支持会话状态的API:当你今天调用聊天API时,你必须反复地传递相同的会话历史,并反复支付同样的令牌。将来,会有一个版本的API可以记住会话历史记录。
2024年:
多模态:这在GPT-4发布时进行了演示,但在更多GPU上线之前不能扩展到所有人。
插件“没有PMF”,可能不会很快出现在API中
许多开发人员都对通过API访问ChatGPT插件感兴趣,但奥特曼说他认为这些插件不会很快发布。除了浏览,插件的使用表明他们还没有PMF。奥特曼表示,很多人认为他们希望自己的应用被集成到ChatGPT中,但实际上,他们真正想要的是将ChatGPT引入自己的应用中。
OpenAI将避免与他们的客户竞争,除了ChatGPT
许多开发者表示,他们对使用OpenAI API构建产品感到紧张,因为OpenAI最终可能会发布与他们竞争的产品。对此,奥特曼表示,OpenAI不会发布更多ChatGPT之外的产品。他说,许多伟大的平台公司都有自己的杀手级应用,ChatGPT将允许他们通过成为自家产品的客户来改进API。ChatGPT的愿景是成为一个超级智能的工作助手,但还有很多其他的GPT用例是OpenAI无法触及的。
监管是必要的,但开源同样重要
虽然奥特曼呼吁对未来的模型进行监管,但他并不认为现有的模型是危险的,认为监管或禁止它们将是一个大错误。奥特曼强调了开源的重要性,并表示OpenAI正在考虑开源GPT-3。他们还没有开源的部分原因在于,他怀疑有多少个人和公司有能力托管大语言模型。
缩放定律仍然成立
最近许多文章都声称“巨型人工智能模型的时代已经结束”,但奥特曼表示,这并没有准确地表达他的意思。
OpenAI的内部数据表明,模型性能的缩放定律仍然成立,扩大模型将继续可以帮助提升性能。但这种扩展速度无法维持下去,因为OpenAI在短短几年内就把模型放大了数百万倍,这样做是不可持续的。不过,这并非意味着OpenAI将停止扩大模型,只是意味着它们的规模可能每年只会增加一倍或三倍,而不是以指数级速度增长。
缩放定律继续发挥作用的事实对通用人工智能(AGI)开发的时间线具有重要意义。缩放假设是指,我们可能已经具备了构建AGI所需的大部分要素,剩下的大部分工作将是采用现有方法,并将其扩展到更大的模型和更大的数据集上。如果缩放时代已经结束,那么我们应该期待AGI离我们更遥远。但事实上,缩放定律继续成立的事实强烈地暗示了时间线正变得更短。
最新!OpenAI掌门人自曝GPU短缺,未来GPT-4会更快、更便宜相关推荐
- MySQL之父等国际数据库掌门人齐聚,1024 程序员节全体大会重磅官宣!
10月23-24日,由CSDN.长沙市政府及多家机构联合主办的第二届"长沙·中国1024程序员节"(1024.csdn.net)将盛大举行.今年程序员节活动囊括:岳麓书院尖峰对话, ...
- “我的代码正在被千百万人使用”,MySQL 之父等六大国际数据库掌门人谈如何做数据库
作者 | 屠敏 出品 | CSDN(ID:CSDNnews) 都说互联网是有记忆的,殊不知强大的记忆力的背后是一个名为数据库的东西在默记,将散是满天星.亦或纷纷残叶满阶头的凌乱信息以各种形态永留存在互 ...
- 独家对话 HybridOS 操作系统掌门人魏永明:“我们的目标是取代物联网中的安卓” | 人物志
作者 | 何苗 责编 | 屠敏 出品 | CSDN(ID:CSDNnews) 自研三十年,"国产操作系统"寄托着无数国人的希望,起落浮沉. 当前国外操作系统几乎垄断了中国巨大的市场 ...
- “我的代码正在被千百万人使用”,MySQL 之父等六大国际数据库掌门人谈如何做数据库!...
作者 | 屠敏 出品 | CSDN(ID:CSDNnews) 都说互联网是有记忆的,殊不知强大的记忆力的背后是一个名为数据库的东西在默记,将散是满天星.亦或纷纷残叶满阶头的凌乱信息以各种形态永留存在互 ...
- 1024 程序员节首批 37 位嘉宾阵容公布!院士、技术掌门人、行业精英齐亮相
年年如约的湘江之诺,是万千开发者共探发展.共赢成长的重要机遇:历代传承的岳麓之约,更是新技术时代不断更迭.开源开放的生动缩影. 10 月 22-24 日,由湖南湘江新区管委会主办,长沙工业与信息化局 ...
- 新版全图、T人工具 过 浩方 VS 掌门人 三大平台 即Breeze's MH V2.0正式版 0917 发布
新版全图沿用Kicker的SPI技术,把全图代码全部放进SPI的Dll里面,实现系统自动注入,新版全图傻瓜式操作,一次开启,永久有效,并且完全免费... ======================= ...
- OpenAI最新发布通用人工智能路线图!AGI比想象中来得更快!
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达 点击进入->[计算机视觉]微信技术交流群 转载自:机器之心 | 编辑:泽南.小舟 通用人工智能的出现可 ...
- 八大操作系统掌门人齐聚 1024 程序员节,千年岳麓见证开源新时代
岳麓山下,风起云涌:湘江之滨,技术之约.10月23-25日,由CSDN等多家单位精心筹划的"长沙 · 中国1024程序员节"将盛大举行,硬核科技+开源文化+节日嘉年华&创新 ...
- 九大操作系统掌门人齐聚岳麓,六代技术人跨代对话,共同见证技术大时代
10月23日,"长沙 · 中国1024程序员节"在湖南长沙市盛大开幕.大会以硬核技术和开源文化为议题,囊括岳麓尖峰对话.2020开源技术英雄大会.10+场热门技术分论坛/峰会:&q ...
最新文章
- html最新的版本是多少,HTML5之前的版本是什么?
- linux nohup 英文全称 no hang up(
- 关于齐次坐标的理解记录
- SAP Analytics Cloud嵌入到SAP Cloud for Customer的效果图
- MySQL数据库如何管理与维护_mysql数据库的管理与维护
- cocos2d c 调用java_cocos2d-x之C++ 调用Java函数并接收返回值
- 金融数据公司发展趋势小探
- 【转】Elasticsearch5.0 安装问题集锦
- Linux C语言操作SQLite数据库
- 红帽linux安装显卡驱动,RedHat Enterprise Linux 6 安装ATI显卡驱动
- 编译程序 解释程序
- There is no Action mapped for namespace / and action name .
- Beautifully crafted open source icons
- 某宝用户行为数据分析
- 数据结构算法实现及例题
- 5G时代即将来临,VR虚拟现实技术会得到更大发展,WebVR将逐渐走入大众视野!
- webm格式如何转换成mp4格式?
- 鸿蒙系统和安卓的区别在哪里,有什么不同
- 普通socket服务端
- OpenCV Java入门一 在MAC系统上安装OpenCV
热门文章
- 智慧旅游背景下的景区新模式建设方案研讨
- 在网上专利缴纳年费具体步骤详细介绍
- 读书笔记 | 从0到1:开启商业与未来的秘密
- JupyterLab 插件开发教程
- 数据库题——高于部门平均工资查询问题
- matlab实现悬臂梁非线性动力学分析
- oracle数据库赋权_实用的数据库赋权的存储过程,用于oracle
- Pheonix Service Software 2011.14.004.45945 Cracked Original
- hive on spark 执行sql报错
- java arraycopy二维数组_System.arraycopy()实现数组的复制与交换