引入

过去几年里，整个计算机产业，都在尝试不停地提升IO设备的速度。但是，无论IO速度怎么提升，比如CPU，总还是太慢。SSD 硬盘的 IOPS 可以到 2 万、4 万，但是我们 CPU 的主频有 2GHz 以上，也就意味着每秒会有 20 亿次的操作。

如果我们对于IO的操作，都是由CPU发出对应的指令，然后等待IO设备完成操作之后返回，那CPU就会有大量的时间其实都是在等待IO设备完成操作。

但是，这个CPU的等待，在很多时候，其实并没有太多的实际意义。我们对于IO设备的大量操作，其实都只是把内存里面的数据，传输到IO设备而已。在这种情况下，其实CPU只是在傻等而已。特别是当传输的数据量比较大的时候，比如进行大文件复制，如果所有数据都要经过CPU，实在是太浪费时间了。

因此，计算机工程师们，就发明了 DMA 技术，也就是直接内存访问（Direct MemoryAccess）技术，来减少CPU等待的时间

DMA，一个协处理器

本质上，DMA技术就是我们在主板上放一块独立的芯片。在进行内存和IO设备的数据传输的时候，我们不再通过CPU来控制数据传输，而是直接通过DMA控制器（DMA Controller，简称 DMAC）。这块芯片，我们可以认为它其实就是一个协处理器（Co-Processor）。

DMAC最有价值的地方体现在，当我们要传输的数据特别大、速度特别快，或者传输的数据特别小、速度特别慢的时候

比如说，我们用千兆网卡或者硬盘来传输大量数据时，如果都用CPU来搬运，可能忙不过来，所以可以选择DMAC。而当数据传输很慢的时候，DMAC可以等数据到齐了，再发送信号，给到CPU去处理，而不会让CPU在那里忙等待。

DMAC 是一块“协处理器芯片”，这里的“协”，指的是"协助"CPU，完成对应的数据传输工作。在DMAC控制数据传输的过程中，我们还是需要CPU的。

除此之外，DMAC也是一个特殊的IO设备。它和CPU以及其他IO设备一样，通过连接到总线来进行实际的数据传输。总线上的设备呢，其实有两种类型。一种我们称之为主设备（Master），另外一种，我们称之为从设备（Slave）。

想要主动发起数据传输，必须要是一个主设备来可以，CPU就是主设备。而我们从设备（比如硬盘）只能接收数据传输。
所以，如果通过CPU来传输数据，要么是CPU从IO设备读数据，要么是CPU向IO设备写数据。

那我们的 I/O 设备不能向主设备发起请求么？可以是可以，不过这个发送的不是数据内容，而是控制信号。IO设备可以告诉CPU，我这里有数据要传输给你，但是实际数据是CPU从 I/O 设备拉走的，而不是 I/O 设备推给 CPU 的。

不过，DMAC 就很有意思了，它既是一个主设备，又是一个从设备。对于 CPU 来说，它是一个从设备；对于硬盘这样的 IO 设备来说呢，它又变成了一个主设备。那使用 DMAC进行数据传输的过程究竟是什么样的呢？下面我们来具体看看。

首先，CPU 还是作为一个主设备，向 DMAC 设备发起请求。这个请求，其实就是在DMAC 里面修改配置寄存器。
CPU修改DMAC的配置的时候，会告诉DMAC这样几个信息
- 首先是源地址的初始值和传输时候的地址增减方式
  - 所谓源地址，就是数据要从哪里传输过来。如果我们要从内存里面写入数据到硬盘上，那么就是要读取的数据在内存里面的地址。如果是从硬盘读取数据到内存，那么就是硬盘的IO接口的地址
  - IO的地址可以是一个内存地址，也可以是一个端口地址。而地址的增减就是说，数据时从大的地址向小的地址传输，还是从小的地址向大的地址传输
- 其次就是目标地址（数据传输的目的地）初始值和传输时候的地址增减方式。
- 第三个自然是要传输的数据长度，也就是我们一共要传输多少数据
设置完这些信息之后，DMAC就会变成一个空闲的状态（Idle）
如果我们要从硬盘上往内存里面加载数据，这个时候，硬盘就会向 DMAC 发起一个数据传输请求。这个请求并不是通过总线，而是通过一个额外的连线
然后，我们的 DMAC 需要再通过一个额外的连线响应这个申请。
于是，DMAC 这个芯片，就向硬盘的接口发起要总线读的传输请求。数据就从硬盘里面，读到了 DMAC 的控制器里面。
然后，DMAC 再向我们的内存发起总线写的数据传输请求，把数据写入到内存里面。
DMAC 会反复进行上面第 6、7 步的操作，直到 DMAC 的寄存器里面设置的数据长度传输完成。
数据传输完成之后，DMAC 重新回到第 3 步的空闲状态。

所以，整个数据传输的过程中，我们不是通过CPU来搬运数据，而是由DMAC这个芯片来搬运数据。但是CPU在这个过程中也是必不可少的。因为传输什么数据，从哪里传输到哪里，其实还是由CPU来设置的。这也是为什么，DMAC叫做“协处理器”

最早，计算机里是没有 DMAC 的，所有数据都是由 CPU 来搬运的。随着对于数据传输的需求越来越多，先是出现了主板上独立的 DMAC 控制器。到了今天，各种 I/O 设备越来越
多，数据传输的需求越来越复杂，使用的场景各不相同。加之显示器、网卡、硬盘对于数据传输的需求都不一样，所以各个设备里面都有自己的 DMAC 芯片了。

为什么那么快？一起来看 Kafka 的实现原理

了解了 DMAC 是怎么回事儿，那你可能要问了，这和我们实际进行程序开发有什么关系呢？有什么 API，我们直接调用一下，就能加速数据传输，减少 CPU 占用吗？

过去几年的大数据浪潮里面，还真有一个开源项目很好地利用了 DMA 的数据传输方式，通过 DMA 的方式实现了非常大的性能提升。这个项目就是Kafka。下面我们就一起来看看它究竟是怎么利用 DMA 的。

Kafka 是目前实时数据传输管道的标准解决方案。
Kafka是一个用来处理实时数据的管道，我们常常把它来做一个消息队列，或者用来收集和落地海量的日志。作为一个处理实时数据和日志的管道，瓶颈自然也在IO层面
Kafka里面常会有两种常见的海量数据传输的情况，一种是从网络中接收上游的数据，然后需要落地到本地磁盘上，确保数据不丢失，另一种情况是，从本地磁盘上读取出来，通过网络发送出去。

我们来看一看后一种情况，从磁盘读数据发送到网络上去。如果我们自己写一个简单的程序，最直观的办法，自然是用一个文件读操作，从磁盘上把数据读到内存里面来，然后再用一个 Socket，把这些数据发送到网络上去。

File.read(fileDesc, buf, len);
Socket.send(socket, buf, len);

在这个过程中，数据一共发生了四次传输的过程，其中两次是DMA的传输，另外两次是通过CPU控制的传输：

第一次传输，是从硬盘上，读到操作系统内核的缓冲区。这个传输是通过DMA搬运的
第二次传输，需要从内核缓冲区里面的数据，复制到我们应用分配的内存里面。这个传输是通过CPU搬运的
第三次传输，是要从应用的内存里面，再写到操作系统的socket的缓冲区里面去。这个传输，还是由CPU搬运的
第四次传输，需要再从socket缓冲区里面，写到网卡的缓冲区里面去，这个传输也是通过DMA搬运的。

这个时候，你可以回过头看看这个过程。我们只是要“搬运”一份数据，结果却整整搬运了四次。而且这里面，从内核的读缓冲区传输到应用的内存里，再从应用的内存里传输到
Socket 的缓冲区里，其实都是把同一份数据在内存里面搬运来搬运去，特别没有效率。

像 Kafka 这样的应用场景，其实大部分最终利用到的硬件资源，其实又都是在干这个搬运数据的事儿。所以，我们就需要尽可能地减少数据搬运的需求。

事实上，Kafka 做的事情就是，把这个数据搬运的次数，从上面的四次，变成了两次，并且只有 DMA 来进行数据搬运，而不需要 CPU。

@Override
public long transferFrom(FileChannel fileChannel, long position, long count) throws IOExecptionreturn fileChannel.transferTo(position, count, socketChannel);
}

Kafka的代码调用了Java NIO库，具体是FileChannel里面的transsferTo方法。我们的数据并没有读到中间的应用内存里面，而是直接通过channel，写入到对应的网络设备里。并且，对于socket的操作，也不是写到socket的buffer里面，而是直接根据描述符写到网卡的缓冲区里面。于是，在这个过程之中，我们只进行了两次数据传输。

第一次，是通过 DMA，从硬盘直接读到操作系统内核的读缓冲区里面。第二次，则是根据Socket 的描述符信息，直接从读缓冲区里面，写入到网卡的缓冲区里面。

这样，我们同一份数据传输的次数从四次变成了两次，并且没有通过CPU来进行数据搬运，所有的数据都是通过DMA来进行传输的。

这这个方法里面，我们没有在内存层面去“复制”数据，所以这个方法，也叫做“零拷贝”

在使用了这样的零拷贝的方法之后呢，我们传输同样数据的时间，可以缩减为原来的 1/3，相当于提升了 3 倍的吞吐率。

计算机组成原理：DMA相关推荐

【建议收藏】计算机组成原理---DMA、中断控制、I/O之间的联系与区别
[建议收藏] 计算机组成原理-DMA.中断控制.I/O之间的联系与区别本篇文章主要是记录我对于计算机组成原理中所遇到的一些疑问和疑惑的记录-----主要用于考研的记录本章一共有几个知识点比较懵: ...
计算机组成原理DMA方式原理,计算机组成原理4（程序查询方式、程序中断方式、DMA方式及其I/O接口电路）...
一.程序查询方式 1.程序查询方式的接口电路 2.符号说明 &与非门 B工作触发器 D完成触发器 3.程序查询工作过程(输入) (1)当CPU通过I/O指令启动输入设备时,该指令的设备码将通过 ...
计算机组成原理DMA的全称,直接存贮器存取(DMA） -计算机组成原理与汇编语言-电子发烧友网站...
5.4.1 DMA的工作过程要实现DMA传送,目前都采用大规模集成电路芯片DMA控制器(DMAC). DMA的工作过程大致如下: ①外设向DMAC发出DMA传送请求. ②DMAC通过连接到CPU的H ...
哈工大计算机组成原理第五章下（二）——＞DMA方式
哈工大计算机组成原理课程 b站 mooc 大纲: 文章目录输入输出系统下(二)--DMA(直接存储器访问)方式一.DMA方式的特点 1. DMA和程序中断两种方式的数据通路 2. DMA与主存交换 ...
计算机组成原理中dma是,《计算机组成原理》课程中“DMA方式”知识点的教学设计...
智爱娟刘雅琴侯凤云摘要:教学设计是为了提高教学效率和教学质量,根据课程标准的要求和教学对象的特點,将教学诸要素有序安排,形成教学方案的设想和计划.本文通过对教材和学情的分析,从学什么,为什么学, ...
计算机组成原理2套题,计算机组成原理试卷及答案2套.doc
计算机组成原理试卷A 选择题(每小题2分,共30分) 下列数中最小的数是______. A.(100100)2 B.(43)8 C.(110010)BCD D.(25)16 计算机经历了从器件角度划分 ...
计算机组成原理——知识结构体系
计算机系统的基本概念和知识体系 1.计算机的软件和硬件概念答:硬件.软件(系统软件.应用软件) 2.计算机系统的层次结构答:微指令系统->机器语言->操作系统->汇编语言-> ...
计算机计组成原理课后,计算机组成原理课后习题课(0001).doc
计算机组成原理课后习题课(0001).doc (7页) 本资源提供全文预览,点击全文预览即可全文预览,如果喜欢文档就下载吧,查找使用更方便哦! 19.90 积分 1．什么是指令周期?什么是机器周期? ...
计算机组成计算题中的术语,计算机组成原理习题——日常记录
计算机组成原理习题软件分为两种,分别是系统软件和应用软件冯·诺依曼型计算机的主要特点是什么?(5点) 计算机由五大部件组成指令和数据采用二进制表示存储程序控制以运算器为中心指令由操作 ...
电子科大计算机组成原理ppt,电子科技大学,计算机组成原理3计算机组成原理-3-5-组合逻辑控制方式.ppt...
文档介绍: 3.5组合逻辑控制虽谆煤疟胜尉张型佳腐瞪咕涝递咱砒融外尉绕粥宰墒剥俐拉摆斯绵峪掉海电子科技大学,计算机组成原理3计算机组成原理-3-5-组合逻辑控制方式电子科技大学,计算机组成原理3计算机 ...

计算机组成原理：DMA

引入

DMA，一个协处理器

为什么那么快？一起来看 Kafka 的实现原理

计算机组成原理：DMA相关推荐

最新文章

热门文章