dpdk eal初始化流程梳理
2024-05-12 06:33:35
for dpdk-18.11
这里把dpdk的eal初始化流程简单汇总，尽量把每个函数功能介绍详细，持续更新中
rte_eal_init
│
├──rte_cpu_is_supported：检查cpu是否支持
│
├──rte_atomic32_test_and_set：操作静态局部变量run_once确保函数只执行一次
│
├──pthread_self() 获取主线程的线程ID,只是用于打印
│
├──eal_reset_internal_config：初始化内部全局配置变量struct internal_config
│
├──eal_log_level_parse 解析命令行参数，只处理“--log-level”
│ │
│ └──eal_parse_log_level 填充struct rte_logs rte_logs全局log控制变量
│
├──rte_eal_cpu_init：赋值全局结构struct lcore_config
│ │
│ ├──rte_eal_get_configuration：获取全局配置结构struct rte_config，初始指向全局变量early_mem_config
│ │
│ ├──eal_cpu_detected
│ │ │
│ │ └──如果文件“/sys/devices/system/cpu/cpu%u/topology/core_id”存在，则存在此编号的cpu
│ │
│ ├──eal_cpu_core_id
│ │ │
│ │ └──eal_parse_sysfs_value：读取文件“/sys/devices/system/cpu/cpu%u/topology/core_id”，
│ │ 获取core number onsocket for this lcore
│ │
│ ├──eal_cpu_socket_id
│ │ │
│ │ └──如果目录“/sys/devices/system/node/node%u/cpu%u”存在，得到physical socket id for this lcore
│ │
│ └──计数得到number of available logical cores，保存在struct rte_config.lcore_count中
│
├──eal_parse_args：解析处理EAL的命令行参数，赋值struct internal_config 结构的相关字段
│
├──eal_plugins_init (EAL的“-d”选项可以指定需要载入的动态链接库)
│ │
│ ├──如果全局变量 default_solib_dir 所指的Default path of external loadable drivers有效
│ │ │
│ │ └──eal_plugin_add
│ │ │
│ │ ├──malloc一个struct shared_driver结构，拷贝路径名称
│ │ │
│ │ └──将此struct shared_driver结构挂载到List of external loadable drivers中 solib_list
│ │
│ └──遍历solib_list上挂载的所有struct shared_driver结构
│ │
│ ├──如果当前struct shared_driver结构所保存的路径是目录
│ │ │
│ │ └──eal_plugindir_init
│ │ │
│ │ └──对目录中的每个普通文件，执行eal_plugin_add
│ │ (将文件挂载到Listof external loadable drivers的尾部，待接下来的遍历循环进行处理)
│ │
│ └──否则，是共享库的情况
│ │
│ └──调用dlopen打开指定的动态链接库
│
├──eal_option_device_parse (EAL的“-b、-w、--vdev”选项可以指定需要解析支持的设备 eal_option_device_add)
│ │
│ ├──如果全局变量链表有挂载指定支持的设备的话devopt_list
│ │ │
│ │ └──rte_devargs_parse 解析后，存放到全局链表 devargs_list 里面
│ │ │
│ │ ├──calloc一个struct rte_devargs 结构
│ │ │
│ │ ├──rte_devargs_parse读取系统所有设备，如果能找到表示属于合法设备
│ │ │
│ │ └──将此struct rte_devargs结构挂载到devargs_list
│ │
│ └──解析后的struct device_option从devopt_list删除
│
├──rte_config_init
│ │
│ ├──主进程的情况(RTE_PROC_PRIMARY) rte_config.mem_config这块内存，在初始化巨页之前，使用本地全局变量&early_mem_config临时使用
│ │ │ 在rte_eal_config_create里面，rte_config.mem_config的内存改为配置文件/var/run/config，用来主从进程共享使用.
│ │ │
│ │ ├──rte_eal_config_create
│ │ │ │
│ │ │ ├──eal_runtime_config_path：获取runtime配置文件路径，如“/var/run/config”
│ │ │ │
│ │ │ ├──如果EAL配置了巨页映射的虚拟地址的话，在这里把它保存到 rte_mem_cfg_addr 变量里面
│ │ │ │
│ │ │ ├──打开文件，上锁，mmap映射文件到内存
│ │ │ │
│ │ │ ├──将early configuration structure(全局变量early_mem_config)拷贝到此内存中，
│ │ │ │ rte_config.mem_config指向这块内存,early_mem_config在巨页没初始化之前，用来当做早期简单配置使用的.
│ │ │ │
│ │ │ └──映射地址保存在rte_config.mem_config->mem_cfg_addr中，用于从应用将来映射到相同的地址
│ │ │
│ │ └──eal_update_mem_config 更新rte_config里面的rte_mem_config legacy_mem和single_file_segments变量,让从进程可以读取这个信息eal_update_internal_config
│ │
│ └──从进程的情况(RTE_PROC_SECONDARY) 从进程先mmap /var/run/config，然后读取主进程的rte_mem_cfg_addr地址，最后在重新mmap /var/run/config，
│ │ 这样做的目的是保证主从进程的rte_mem_cfg_addr虚拟地址和物理地址都是完全一样的.
│ │
│ ├──rte_eal_config_attach
│ │ │
│ │ ├──eal_runtime_config_path
│ │ │
│ │ ├──打开文件，mmap映射文件到内存
│ │ │
│ │ └──rte_config.mem_config指向映射的内存
│ │
│ ├──rte_eal_mcfg_wait_complete
│ │ │
│ │ └──如果struct rte_mem_config结构的magic成员没有被写成RTE_MAGIC，就继续等待
│ │ (主应用ready后会将struct rte_mem_config结构的magic成员写成RTE_MAGIC)
│ │
│ ├──rte_eal_config_reattach
│ │ │
│ │ ├──从前面mmap映射文件中获取主应用mmap的映射地址(即rte_config.mem_config->mem_cfg_addr)
│ │ │
│ │ ├──munmap解除先前的映射
│ │ │
│ │ ├──指定主应用映射地址重新执行mmap映射，如果最终映射地址和指定映射地址不一致，则出错退出
│ │ │
│ │ └──将rte_config.mem_config指向重新映射的内存
│ │
│ └──eal_update_internal_config读取主进程初始化的内存配置，保存到本地的internal_config.legacy_mem和internal_config.single_file_segments
│
├──rte_eal_intr_init 初始化中断系统，dpdk把中断注册到epoll里面，通过epoll来处理发送的中断事件
│ │
│ ├──初始化global interrupt source head (struct rte_intr_source_list intr_sources)
│ │
│ ├──创建pipe，主要是用来唤醒eal_intr_thread_main重建中断列表，一般在用户注册了中断事件后，会write pipe，epoll read后重建中断列表
│ │
│ └──创建线程来等待处理中断，线程执行函数为eal_intr_thread_main
│ │
│ └──线程运行循环
│ │
│ ├──epoll_create：创建epoll文件描述符
│ │
│ ├──epoll_ctl：把前面创建的the read end of the pipe，添加到epoll wait list中
│ │
│ ├──遍历以global interrupt source head为头部的struct rte_intr_source结构链表
│ │ │
│ │ ├──如果当前struct rte_intr_source结构没有挂载的callback函数，跳过
│ │ │
│ │ └──把所有的uio device file descriptor，添加到epoll wait list中
│ │
│ ├──eal_intr_handle_interrupts
│ │ │
│ │ └──循环
│ │ │
│ │ ├──epoll_wait：wait for an I/O event on an epoll file descriptor
│ │ │
│ │ ├──eal_intr_process_interrupts
│ │ │ │
│ │ │ └──遍历所有发生的I/O event
│ │ │ │
│ │ │ ├──如果the read end of the pipe可用，执行read操作，函数返回
│ │ │ │ (此时会rebuild the wait list)
│ │ │ │
│ │ │ ├──遍历struct rte_intr_source结构链表，查找当前I/O event对应的structrte_intr_source结构
│ │ │ │
│ │ │ ├──根据interrupt handle type(uio/alarm/…)，确定需要读取的字节长度
│ │ │ │
│ │ │ ├──执行文件read操作
│ │ │ │
│ │ │ └──如果read数据成功，执行当前struct rte_intr_source结构挂载的所有callback函数
│ │ │
│ │ └──调用eal_intr_process_interrupts返回负数，本次中断处理结束返回
│ │
│ └──关闭epoll文件描述符
│
├──rte_mp_channel_init 创建主从进程通信socket接口，使用AF_UNIX socket 类型，处理任务 mp_handle
│ │
│ ├──初始化socket路径 /var/run/mp_socket
│ │
│ ├──打开目录/var/run 加锁
│ │
│ ├──创建socket，主进程使用/var/run/mp_socket，从进程使用/var/run/mp_socket_getpid_rte_rdtsc, fd使用全局变量保存mp_fd
│ │
│ └──创建mp处理进程 mp_handle
│
├──rte_mp_dev_hotplug_init 注册主从进程通信的消息处理回调钩子，该动作是承接rte_mp_channel_init，
│ │ rte_mp_channel_init初始化了处理任务mp_handle-->process_msg-->查找hotplug action
│ │
│ ├──主进程流程
│ │ │
│ │ ├── malloc 一个struct action_entry
│ │ │
│ │ ├── 初始化action_entry的action_name（EAL_DEV_MP_ACTION_REQUEST）和action（handle_secondary_request）
│ │ │
│ │ └── 增加action_entry到全局链表中action_entry_list
│ │
│ └──从进程流程
│ │
│ ├── malloc 一个struct action_entry
│ │
│ ├── 初始化action_entry的action_name（EAL_DEV_MP_ACTION_REQUEST）和action（handle_primary_request）
│ │
│ └── 增加action_entry到全局链表中action_entry_list
│
├──rte_bus_scan 扫描所有已注册设备的总线，主要有pci bus，还有其他厂家提供的总线，如DPAA bus，Intel FPGA bus
│ │
│ ├──循环获取设备总线链表 rte_bus_list
│ │
│ └──对每一个注册到的设备总线最新scan
│ │
│ ├──设备总线注册使用RTE_REGISTER_BUS
│ │
│ └──设备bus注册需要提供scan,probe,find_device,plug,unplug,parse,dev_iterate等函数实现,pci总线是 rte_pci_bus
│
├──初始化系统巨页
│ │
│ ├──主进程 eal_hugepage_info_init：赋值struct hugepage_info数组(internal_config.hugepage_info)
│ │ │
│ │ ├──hugepage_info_init 读取系统巨页的信息，填充到internal_config.hugepage_info数组里面如果没有巨页数量可用，这里返回失败，
│ │ │ 否则，hugepage_info数组里面按照巨页大小排序存储hugepage_info[0]>hugepage_info[1]>hugepage_info[2],这里是巨页大小不是巨页数量
│ │ │ │
│ │ │ ├── 打开系统的/sys/kernel/mm/hugepages目录，里面存在系统当前使用的巨页大小对应的信息
│ │ │ │
│ │ │ ├── 遍历/sys/kernel/mm/hugepages子目录信息，如果子目录以hugepages-开头，则继续处理，否则不处理，
│ │ │ │ 一般有hugepages-2048kB或者hugepages-1048576kB两种存在
│ │ │ │
│ │ │ ├── /sys/kernel/mm/hugepages子目录数量不能超过dpdk运行的最大数，目前为3个
│ │ │ │
│ │ │ ├── 以数组方式，把系统不同巨页信息按顺序存放在internal_config.hugepage_info[]数组里面
│ │ │ │ │
│ │ │ │ └── get_hugepage_dir 根据系统巨页的大小，获取系统巨页mount路径
│ │ │ │ │
│ │ │ │ ├── 读取系统的/proc/mounts目录，里面存放了用户所有mount信息
│ │ │ │ │
│ │ │ │ ├── 获取默认的巨页大小，说白了就是获取系统默认的巨页大小，一般是2MB, 获取方式，cat /proc/meminfo |grep Hugepagesize
│ │ │ │ │
│ │ │ │ └── 循环判断/proc/mounts所有信息，如果有hugetlbfs的标识，表示是系统的巨页挂载点
│ │ │ │ │
│ │ │ │ ├── 一条mount信息包含四个选项，按顺序分别是device、mountpt、fstype、options分别按顺序存放到splitstr指针数组里面
│ │ │ │ │
│ │ │ │ ├── 如果用户设置了启动参数--huge-dir选项，就只检查这个目录是否存在
│ │ │ │ │
│ │ │ │ └── 查找mount信息里面的options，是否存在"pagesize="选项，如果是，则直接使用该页大小，否则使用默认的页大小
│ │ │ │
│ │ │ ├── 系统总的可用巨页数量保存到internal_config.num_hugepage_sizes
│ │ │ │
│ │ │ └── 到此为止，internal_config里面关于巨页相关的变量基本都初始化了
│ │ │
│ │ └──如果设置了不共享巨页信息，直接返回，否则下面会创建一个文件，把internal_config.hugepage_info信息存放到eal_hugepage_info_path里面，
│ │ 让从进程可以attach，共享同一块内存
│ │ │
│ │ └──create_shared_memory 创建共享文件/var/run/hugepage_info，把internal_config.hugepage_info保存进去，让从进程可以读取
│ │
│ └──从进程 eal_hugepage_info_read
│ │
│ └──读取主进程存放在/var/run/hugepage_info文件里面的信息，读取出来保存到本地的internal_config.hugepage_info
│
├──rte_srand(rte_rdtsc()) 将当前时间作为种子，产生伪随机数序列
│dpdk eal初始化流程梳理相关推荐
- DPDK： eal初始化流程学习梳理
本文针对dpdk-18.11进行梳理,版本差异不是很大 这里把dpdk的eal初始化流程简单汇总,尽量把每个函数功能介绍详细 rte_eal_init │ ├──rte_cpu_is_supporte ...
- DPDK — 网卡初始化流程（Intel 82599 ixgbe 网卡驱动示例）
目录 文章目录 目录 总览 rte_eth_dev/rte_eth_dev_data 数据结构 rte_eth_dev_count 函数 rte_eth_dev_configure 函数 ixgbe_ ...
- DPDK — L2 Forwarding 与网卡设备初始化流程
目录 文章目录 目录 L2 Forwarding Application 安装部署 部署拓扑 编译运行 L2fwd 测试 L2 转发功能 实现分析 L2 转发原理 代码注释 函数调用关系图 网卡设备初 ...
- DPDK — EAL 环境抽象层
目录 文章目录 目录 EAL 环境适配层 Linux 环境下的 EAL DPDK App 的初始化和运行 内存分配 Structure: malloc_heap Structure: malloc_e ...
- DPDK rte_eal_init 初始化分析(根据最新的更新)
端口初始化流程 1. 注册设备驱动到"dev_driver_list"链表中 2.扫描系统中的pci设备,并注册到"pci_device_list"中 3.初始 ...
- 关于Flutter初始化流程，我必须告诉你的是...
作者:闲鱼技术-然道 1. 引言 最近在做性能优化的时候发现,在混合栈开发中,第一次启动Flutter页面的耗时总会是第二次启动Flutter页面耗时的两倍左右,这样给人感觉很不好.分析发现第一次启动 ...
- 深入分析 Flutter 初始化流程
在调研 Flutter 动态化方案的时候,需要了解 Flutter 加载 dart 产物的流程,阅读了一部分源码,顺便也读了初始化相关的代码.于是梳理了一遍 Flutter 的初始化流程 flutte ...
- MFC 学习笔记（一）：MFC单文档程序运行流程梳理与总结
MFC 学习笔记(一):MFC单文档程序运行流程梳理与总结 1.MFC单文档程序运行流程 1.首先利用全局变量对象 theApp 启动应用程序 (这是因为这个全局对象,基类CWinApp中 this ...
- 高通SDX12平台：启动流程梳理
高通SDX12平台 启动流程梳理 1. 高通平台CPU类型介绍 通常我们所说的CPU如高通平台MSM8998.苹果A12, 华为海思平台(麒麟980.990)等,这些我们虽然叫CPU,但并不是只有一个 ...
最新文章
- OpenCV人脸检测与三角剖分绘制
- 中国传感器行业应用规模与投资价值分析报告2022版
- linux 压缩解压归档
- linux rsync删文件速度,Linux下使用rsync最快速删除大量文件的方法
- （50）常见命名方式
- springboot 文件上传 设置文件大小配置
- 简述oracle函数的功能,Oracle 最常用功能函数经典汇总 (zz)
- 利用Metaweblog技术的API接口同步到多个博客网站（详细）
- 【开发常识】手机号为什么要隐藏中间的四位数？
- 一文回顾腾讯数字生态大会·微搭低代码专场
- 服务器mstsc远程桌面,远程桌面工具,详细教您如何使用远程桌面工具mstsc连接远程桌面...
- HP大中华区总裁孙振耀退休十五天后九大感言
- (小脚本) (python) 批量修改文件后缀名
- 【思特奇杯·云上蓝桥-算法集训营】第1周——了解算法与数据结构
- 基于机器学习的时序数据预测方法
- JavaScript学习笔记 06、DOM元素—③定时器与延时器
- w ndows11如何设置电源选项,2018年度巨献(4)：11款650W全模组80Plus金牌+电源横评
- “21天好习惯“ 第十七期 — 17之黑马面面移动端布局(三)
- Android中文联系人排序及检索补丁的原理（090819更新）
- iOS zlib 压缩解压