Nvidia的开源神经网络加速器NVDLA已经在GitHub上面存在两个多月的时间了，而距离软件Software Stack的开源也差不多提上了日程。近期，NVDLA的代码库中已经更新了System C平台和Verilator，为更为便捷快速的软件仿真也提供了支撑。

对于NVDLA的Top层与外界的接口以及工作流程，这里做一下总结。目前开源的软件代码和测试例都只是针对nv_large模式，目前已经更新为nv_full模式。NVDLA的顶层接口包括控制总线，数据总线以及时钟复位和中断信号，比较简洁。控制总线CSB遵循简单地握手协议，而数据总线则采用简化版的AXI4.0协议。

控制总线CSB，即Configuration Space Bus，主要包括请求通道，读数据通道和写响应通道，包括12组信号线，具体信号线个数与所选择的AXI总线位宽有关。

请求通道，Request Channel，主要完成CSB Master对NVDLA的读写操作。其支持简单的valid/ready握手协议，地址位宽固定为16比特，数据位宽固定为32比特，且不支持burst操作，各个读写命令之间相互独立，不支持乱序完成和发射。

读数据通道，Read Data Channel，主要返回CSB Master读请求命令的数据，valid为高时，数据有效。也不支持乱序响应。

写响应通道，Write Response Channel，也遵循valid协议，针对no-posted模式，返回写响应信号，同时也不支持乱序响应。

下图是一个简单的两写两读的时序图，第二个写操作为no-posted模式。

NVDLA提供的Testbench中CSB Mater支持的指令有7条(TPU一代支持12条指令)，主要完成寄存器和存储器的读写操作，以及大片数据的加载和卸载操作等，还有一条wait指令，等待NVDLA中断的完成。

NVDLA的存储器接口比较简单，采用了简化版的AXI4.0协议，比如支持的burst类型仅为Incr类型，且burstsize也与数据位宽对齐，保持一致等。

同时为了隐藏配置NVDLA寄存器带来的延迟和增加的神经网络处理时间，NVDLA采用了ping-pong寄存器模式，在group0寄存器工作的同时，CSB Master可以配置下一层的group1寄存器。这里需要注意的是，为了简化硬件设计，NVDLA子模块间的工作时序以及启动的依赖关系，都是由软件负责，这也与TPU相类似。可见，仅流片NVDLA，是没有任何实际意义的。

这里以一个简单的全连接层测试例介绍一下NVDLA的工作流程以及所需要的文件。程序文件类似于普通的高级语言编写的C代码文件，输入数据和权值，都是NVDLA的输入，都需要从模块外面导入到加速器内部。目前NVDLA没有开源软件框架，只提供了一个Perl脚本，将源程序文件转换成可执行的二进制代码，同时将dat数据文件转换成word存储形式。依次配置完成响应子模块并使能，等待中断返回。工作流程都还算直接，只是目前阶段还无法自己设计程序和测试例。

NVDLA nv_large的功耗，MAC矩阵尺寸为64x32，大致可以作为参考，功耗的绝大部分在于时钟网络，综合结果是在40LP@200MHz下的典型库单元获得的，这里只包括动态功耗。

目前只能等待NVDLA的软件框架和工具链开源，sigh~~~。

欢迎讨论交流

研究领域包括集成电路、无线通信等，涉及深度学习加速器、SoC设计空间探索、多核任务调度和新一代无线通信系统实现；具有65nm、40nm成功流片经验，在研项目包括28nm、16nm等。

中国科学院自动化研究所国家专用集成设计工程技术研究中心