AI芯片的评价指标和对比(CPUGPUASICFPGA)
一,背景知识
芯片的分类
常见的芯片种类:CPU,GPU,ASIC,FPGA,(小众:类脑芯片(intel),量子芯片(谷歌)
按照应用场景分类
服务器端(云端):注重芯片的算力,扩展能力,以及对现有基础设置的兼容性等
移动端(终端):注重芯片的低功耗,低延时,低成本
AI芯片的评价标准
性能(算力):比如芯片做浮点或定点运算时候每秒的运算次数,以及芯片的峰值性能,平均性能等。
灵活性:芯片对不同场景的适应程度,是否可应用于各种不同的AI算法和应用
同构性:当大量部署AI芯片时候,能否可利用现有的软硬件基础设施架构,少引用其它东西才能让芯片工作。比如一个显示器的接口是HDMI,可直接与电脑相连,但是如果显示器的接口是VGA或者雷电3,就需要加一个转接头才能与电脑相连
功耗:芯片对数据中心带来的额外功耗负担
成本:包括芯片的研发成本和芯片的部署和运维成本
二,常见芯片在不同评价标准上的分析
CPU芯片
中央处理器(Central Processing Unit, CPU)作为计算机系统的运算和控制核心,是信息处理、程序运行的最终执行单元
CPU是数据中心的主要计算单元,为了支持AI应用,传统CPU的架构和指令集也在不断的变化。CPU在灵活性和同构性维度有明显的优势。
GPU芯片
图形处理器(Graphics Processing Unit, GPU),是一种专门在个人电脑,工作站,游戏机和一些移动设备上做图像和图形相关运算工作的微处理器。
GPU有大规模的并行架构,非常适合对于数据密集型的应用和处理,如深度学习的训练过程。和CPU相比,GPU的性能会高很多倍。很多公司会选择GPU对各种AI应用进行加速,如分析处理图片,视频,音频等。GPU有一个非常成熟的应用框架,如CUDA。
CPU最大的问题是功耗,比如intel的P100,V100,A100系列都在250-400瓦之间,而ASIC和FPGA只有几十瓦或者几瓦。而神经网络的训练往往需要大量的GPU集群来提供充足的算力,这样一个机柜的功耗会超过几十千瓦,就需要数据中心为它修改供电和散热等结构,如把风冷散热修改为水冷散热,对于数据中心来说是一笔巨大的开销。高功耗就会带来高昂的电费开支,现代数据中心中超过40%的运维成本都是电费开支。所以对于GPU在数据中心的大规模部署,通常考虑的是它所能带来的算力优势是否可以抵消它带来的额外的电费。
ASIC芯片
专用集成电路 (Application Specific Integrated Circuit, ASIC),是指应特定用户要求和特定电子系统的需要而设计、制造的集成电路。
指人工智能专用芯片,典型代表是谷歌的AlphaGo里TPU,AlphaGo里替代了1000多个CPU和上百个GPU。在人工智能专用芯片的各项指标都非常极端,有极高的性能和极低的功耗。比如和GPU相比,性能高10倍,功耗低100倍。但是这样的芯片研发有极高的成本和风险。和软件开发不同,芯片研发往往需要投入大量的人力和物力,开发周期往往长达数年,而且失败的风险很大。
AI专用芯片的灵活度比较低,比如TPU通常是针对某些具体的应用开发的,不能适用于其它的应用场景。如果想要使用基于ASIC的方案,就需要目标应用有足够大的使用量来分摊高昂的研发成本,同时这类应用要足够稳定来避免核心算法或者协议不断的变化。
FPGA芯片
现场可编程门阵列(Field Programmable Gate Array, FPGA),是一种可以重构电路的芯片,是一种硬件可重构的体系结构
可以在各种指标中达到一个比较理想的平衡。在性能方面FPGA可以实现定制化的硬件流水线,在硬件层面可以进行大规模的并行运算,很高的吞吐量。FPGA具有很高的灵活性可以极好的应对计算密集型和通信密集型在内的很多应用。此外,FPGA有动态可编程和部分可编程的特点,也就是说FPGA可以在同时处理多个应用或者在不同时刻处理多个不同的应用,这和CPU类似,但性能远超于CPU。在数据中心里面,FPGA通常是以加速卡的形式来配合现有的CPU进行大规模的部署。功耗通常只有几十瓦,对于供电和散热没有特殊的需求,因此可以兼容现有数据中心的基础设施架构。衡量芯片时候,经常使用性能功耗比的技术指标,所以FPGA比CPU具有优势。
在开发成本方面,FPGA的一次性成本要远低于ASIC芯片,因为FPGA在制造出来之后,可以通过不断的编程,来改变它上面的逻辑功能;而ASIC在流片之后,它的功能就确定了,如果要改变功能,就需要再进行流片。
基础概念
指令集
CPU执行计算任务时都需要遵从一定的规范,程序在被执行前都需要先翻译为CPU可以理解的语言。这种规范或语言就是指令集(ISA,Instruction Set Architecture)。程序被按照某种指令集的规范翻译为CPU可识别的底层代码的过程叫做编译(compile)。x86、ARM v8、MIPS都是指令集的代号。指令集可以被扩展,如x86增加64位支持就有了x86-64。厂商开发兼容某种指令集的CPU需要指令集专利持有者授权,典型例子如Intel授权AMD,使后者可以开发兼容x86指令集的CPU。
微架构
CPU的基本组成单元即为核心(core)。核心的实现方式被称为微架构(microarchitecture)。微架构的设计影响核心可以达到的最高频率、核心在一定频率下能执行的运算量、一定工艺水平下核心的能耗水平等等。
微架构与指令集是两个概念:指令集是CPU选择的语言,而微架构是具体的实现。
参考来源:
性能至上?聊聊人工智能芯片的5个评价标准_哔哩哔哩_bilibili
AI芯片的评价指标和对比(CPUGPUASICFPGA)相关推荐
- AI芯片的评价指标和对比(CPU/GPU/ASIC/FPGA)
一,背景知识 芯片的分类 常见的芯片种类:CPU,GPU,ASIC,FPGA,(小众:类脑芯片(intel),量子芯片(谷歌) 按照应用场景分类 服务器端(云端):注重芯片的算力,扩展能力,以及对现有 ...
- 2022-2028全球云AI芯片行业调研及趋势分析报告
据恒州诚思调研统计,2021年全球云AI芯片市场规模约 亿元,2017-2021年年复合增长率CAGR约为%,预计未来将持续保持平稳增长的态势,到2028年市场规模将接近 亿元,未来六年CAGR为 % ...
- CPU、GPU、FPGA、ASIC等AI芯片特性及对比
1.前言 目前,智能驾驶领域在处理深度学习AI算法方面,主要采用GPU.FPGA 等适合并行计算的通用芯片来实现加速.同时有部分芯片企业开始设计专门用于AI算法的ASIC专用芯片,比如谷歌TPU.地平 ...
- AI芯片:寒武纪DianNao,英伟达NVDLA和谷歌TPU1的芯片运算架构对比分析
前面几篇博客分别分析了目前市面上能够找到的各家AI芯片的结构. 下面做一个阶段性的对比分析及总结. AI芯片运算架构对比 整体来看,NVDLA的架构与寒武纪的DianNao比较像.所以,单位资源的性能 ...
- 人工智能Ai芯片层出不穷,GPU、FPGA、ASIC用于人工智能的优势和劣势对比
人工智能(AI)主要包括三大要素,分别是数据.算法和算力.其中数据是基础,正是因为在实际应用当中的数据量越来越大,使得传统计算方式和硬件难以满足要求,才催生了AI应用的落地.而算法是连接软件.数据.应 ...
- 2022年薪百万赛道:高性能神经网络与AI芯片应用
随着大数据的发展,计算机芯片算力的提升,人工智能近两年迎来了新一轮的爆发.而人工智能实现超级算力的核心就是AI芯片.AI芯片也被称为人工智能加速器,即专门用于处理人工智能应用中的大量计算任务的模块. ...
- AI 芯片为何遭遇滑铁卢?
作者 | 周志鹏 责编 | 郭 芮 如何挑战百万年薪的人工智能! https://edu.csdn.net/topic/ai30?utm_source=csdn_bw 很多朋友应该都知道了,今年初 ...
- GPU、AI芯片技术市场分析
GPU.AI芯片技术市场分析 市场将高速增长,GPU曙光初现,预计到2024年,国内人工智能技术市场规模将达到172亿美元:全球占比将从2020年12.5%上升到15.6%,是全球市场增长的主要驱动力 ...
- AI 芯片的分类及技术
AI 芯片的分类及技术 人工智能芯片有两种发展路径:一种是延续传统计算架构,加速硬件计算能力,主要以 3 种类型的芯片为代表,即 GPU. FPGA. ASIC,但 CPU依旧发挥着不可替代的作用:另 ...
最新文章
- 【错误记录】VMware 虚拟机报错 ( 向 VMWare 虚拟机中的 Ubuntu 系统拷贝文件时磁盘空间不足 ② | 删除交换空间 )
- 理解 Python 面向对象
- 将自己写的经常复用的类封装成动态库的方法
- Android 消息机制 Handler总结
- 使用JFreeChart在网页上绘制平滑曲线
- hpcc_使用Java将数据流式传输到HPCC
- 促销海报设计模板,可临摹学习!
- tomcat7-maven-plugin-用于部署WAR的Tomcat Maven插件
- MySQL(21)-----数据库事务
- 计算机原理寻址方式试题,计算机组成原理试题和答案
- Web基础配置篇(八): 远程操作工具、命令的介绍、安装及基本使用
- MySQL数据库高级应用(北理珠实验答案)
- 获取注册表键值并格式转换
- 25 逆波兰表达式、波兰表达式
- 常州2021高考成绩查询,2021年常州高考成绩排名及成绩公布时间什么时候出来
- 日本财险前瞻2012年IT发展 CDP技术助力异地灾备
- von mises应力和stress intensity的区别
- 百度AI车牌识别测试
- 第三方推广——《互联网运营的知识体系与整体逻辑》笔记(十二)
- 你觉得程序员最需要具备哪些软技能?
热门文章
- 5W字总结Spark(建议收藏)
- php网站开题报告该怎么答辩,建置Web的管理介面for php,毕业论文设计,答辩ppt,开题报告,外文翻译,硕士研究生...
- 跨站脚本攻击—XSS
- 阿里云ECS服务器即将到期,怎么将原服务器系统环境迁移到新的服务器?
- What is Spring?
- python 隐含波动率_怎么计算隐含波动率?
- 直线回归和相关------(五)直线回归与相关的内在关系和应用要点(回归系数相关系数关系推导)
- 开启从小白到精通的基于文献计量学论文写作之旅
- 【科学文献计量】中英文文献标题及摘要用词情感分析与可视化
- 课程论文格式 linux,Linux课程设报告书模版毕业设计(论文)word格式.doc