linux spinlock/rwlock/seqlock原理剖析(基于ARM64)
背景
Kernel版本:4.14
ARM64处理器,Contex-A53,双核
使用工具:Source Insight 3.5, Visio
1. 概述
吹起并发机制研究的进攻号角了!
作为第一篇文章,应该提纲挈领的介绍下并发。什么是并发,并发就是:你有两个儿子,同时抢一个玩具玩,你一巴掌打在你大儿子手上,小儿子拿到了玩具。并发是指多个执行流访问同一个资源,并发引起竞态。
来张图吧:
图中每一种颜色代表一种竞态情况,主要归结为三类:
进程与进程之间:单核上的抢占,多核上的SMP;
进程与中断之间:中断又包含了上半部与下半部,中断总是能打断进程的执行流;
中断与中断之间:外设的中断可以路由到不同的CPU上,它们之间也可能带来竞态;
目前内核中提供了很多机制来处理并发问题,spinlock
就是其中一种。
spinlock
,就是大家熟知的自旋锁,它的特点是自旋锁保护的区域不允许睡眠,可以用在中断上下文中。自旋锁获取不到时,CPU会忙等待,并循环测试等待条件。自旋锁一般用于保护很短的临界区。
下文将进一步揭开神秘的面纱。
2. spinlock原理分析
2.1 spin_lock/spin_unlock
先看一下函数调用流程:
spin_lock
操作中,关闭了抢占,也就是其他进程无法再来抢占当前进程了;spin_lock
函数中,关键逻辑需要依赖于体系结构的实现,也就是arch_spin_lock
函数;spin_unlock
函数中,关键逻辑需要依赖于体系结构的实现,也就是arch_spin_unlock
函数;
直接看ARM64
中这个arch_spin_lock/arch_spin_unlock
函数的实现吧:
static inline void arch_spin_lock(arch_spinlock_t *lock)
{unsigned int tmp;arch_spinlock_t lockval, newval;asm volatile(/* Atomically increment the next ticket. */ARM64_LSE_ATOMIC_INSN(/* LL/SC */
" prfm pstl1strm, %3\n"
"1: ldaxr %w0, %3\n"
" add %w1, %w0, %w5\n"
" stxr %w2, %w1, %3\n"
" cbnz %w2, 1b\n",/* LSE atomics */
" mov %w2, %w5\n"
" ldadda %w2, %w0, %3\n"__nops(3))/* Did we get the lock? */
" eor %w1, %w0, %w0, ror #16\n"
" cbz %w1, 3f\n"/** No: spin on the owner. Send a local event to avoid missing an* unlock before the exclusive load.*/
" sevl\n"
"2: wfe\n"
" ldaxrh %w2, %4\n"
" eor %w1, %w2, %w0, lsr #16\n"
" cbnz %w1, 2b\n"/* We got the lock. Critical p starts here. */
"3:": "=&r" (lockval), "=&r" (newval), "=&r" (tmp), "+Q" (*lock): "Q" (lock->owner), "I" (1 << TICKET_SHIFT): "memory");
}static inline void arch_spin_unlock(arch_spinlock_t *lock)
{unsigned long tmp;asm volatile(ARM64_LSE_ATOMIC_INSN(/* LL/SC */" ldrh %w1, %0\n"" add %w1, %w1, #1\n"" stlrh %w1, %0",/* LSE atomics */" mov %w1, #1\n"" staddlh %w1, %0\n"__nops(1)): "=Q" (lock->owner), "=&r" (tmp):: "memory");
}
spinlock
的核心思想是基于tickets
的机制:
每个锁的数据结构
arch_spinlock_t
中维护两个字段:next
和owner
,只有当next
和owner
相等时才能获取锁;每个进程在获取锁的时候,
next
值会增加,当进程在释放锁的时候owner
值会增加;如果有多个进程在争抢锁的时候,看起来就像是一个排队系统,
FIFO ticket spinlock
;
上边的代码中,核心逻辑在于asm volatile()
内联汇编中,有点迷糊吗?把核心逻辑翻译成C语言,类似于下边:
asm volatile
内联汇编中,有很多独占的操作指令,只有基于指令的独占操作,才能保证软件上的互斥,简单介绍如下:
ldaxr
:Load-Acquire Exclusive Register derives an address from a base register value, loads a 32-bit word or 64-bit doubleword from memory, and writes it to a register
,从内存地址中读取值到寄存器中,独占访问;stxr
:Store Exclusive Register stores a 32-bit or a 64-bit doubleword from a register to memory if the PE has exclusive access to the memory address
,将寄存器中的值写入到内存中,并需要返回是否独占访问成功;eor
:Bitwise Exclusive OR
,执行独占的按位或操作;ldadda
:Atomic add on word or doubleword in memory atomically loads a 32-bit word or 64-bit doubleword from memory, adds the value held in a register to it, and stores the result back to memory
,原子的将内存中的数据进行加值处理,并将结果写回到内存中;
此外,还需要提醒一点的是,在
arch_spin_lock
中,当自旋等待时,会执行WFE
指令,这条指令会让CPU处于低功耗的状态,其他CPU可以通过SEV
指令来唤醒当前CPU。如果说了这么多,你还是没有明白,那就再来一张图吧:
2.2
spin_lock_irq/spin_lock_bh
自旋锁还有另外两种形式,那就是在持有锁的时候,不仅仅关掉抢占,还会把本地的中断关掉,或者把下半部关掉(本质上是把软中断关掉)。这种锁用来保护临界资源既会被进程访问,也会被中断访问的情况。
看一下调用流程图:
可以看到这两个函数中,实际锁的机制实现跟
spin_lock
是一样的;额外提一句,
spin_lock_irq
还有一种变种形式spin_lock_irqsave
,该函数会将当前处理器的硬件中断状态保存下来;
__local_bh_disable_ip
是怎么实现的呢,貌似也没有看到关抢占?有必要前情回顾一下了,如果看过之前的文章的朋友,应该见过下边这张图片:
thread_info->preempt_count
值就维护了各种状态,针对该值的加减操作,就可以进行状态的控制;
3. rwlock读写锁
读写锁是自旋锁的一种变种,分为读锁和写锁,有以下特点:
可以多个读者同时进入临界区;
读者与写者互斥;
写者与写者互斥;
先看流程分析图:
看一下
arch_read_lock/arch_read_unlock/arch_write_lock/arch_write_unlock
源代码:static inline void arch_read_lock(arch_rwlock_t *rw) {unsigned int tmp, tmp2;asm volatile(" sevl\n"ARM64_LSE_ATOMIC_INSN(/* LL/SC */"1: wfe\n""2: ldaxr %w0, %2\n"" add %w0, %w0, #1\n"" tbnz %w0, #31, 1b\n"" stxr %w1, %w0, %2\n"" cbnz %w1, 2b\n"__nops(1),/* LSE atomics */"1: wfe\n""2: ldxr %w0, %2\n"" adds %w1, %w0, #1\n"" tbnz %w1, #31, 1b\n"" casa %w0, %w1, %2\n"" sbc %w0, %w1, %w0\n"" cbnz %w0, 2b"): "=&r" (tmp), "=&r" (tmp2), "+Q" (rw->lock):: "cc", "memory"); }static inline void arch_read_unlock(arch_rwlock_t *rw) {unsigned int tmp, tmp2;asm volatile(ARM64_LSE_ATOMIC_INSN(/* LL/SC */"1: ldxr %w0, %2\n"" sub %w0, %w0, #1\n"" stlxr %w1, %w0, %2\n"" cbnz %w1, 1b",/* LSE atomics */" movn %w0, #0\n"" staddl %w0, %2\n"__nops(2)): "=&r" (tmp), "=&r" (tmp2), "+Q" (rw->lock):: "memory"); }static inline void arch_write_lock(arch_rwlock_t *rw) {unsigned int tmp;asm volatile(ARM64_LSE_ATOMIC_INSN(/* LL/SC */" sevl\n""1: wfe\n""2: ldaxr %w0, %1\n"" cbnz %w0, 1b\n"" stxr %w0, %w2, %1\n"" cbnz %w0, 2b\n"__nops(1),/* LSE atomics */"1: mov %w0, wzr\n""2: casa %w0, %w2, %1\n"" cbz %w0, 3f\n"" ldxr %w0, %1\n"" cbz %w0, 2b\n"" wfe\n"" b 1b\n""3:"): "=&r" (tmp), "+Q" (rw->lock): "r" (0x80000000): "memory"); }static inline void arch_write_unlock(arch_rwlock_t *rw) {asm volatile(ARM64_LSE_ATOMIC_INSN(" stlr wzr, %0"," swpl wzr, wzr, %0"): "=Q" (rw->lock) :: "memory"); }
知道你们不爱看汇编代码,那么翻译成C语言的伪代码看看吧:
读写锁数据结构
arch_rwlock_t
中只维护了一个字段:volatile unsigned int lock
,其中bit[31]
用于写锁的标记,bit[30:0]
用于读锁的统计;读者在获取读锁的时候,高位
bit[31]
如果为1,表明正有写者在访问临界区,这时候会进入自旋的状态,如果没有写者访问,那么直接去自加rw->lock
的值,从逻辑中可以看出,是支持多个读者同时访问的;读者在释放锁的时候,直接将
rw->lock
自减1即可;写者在获取锁的时候,判断
rw->lock
的值是否为0,这个条件显得更为苛刻,也就是只要有其他读者或者写者访问,那么都将进入自旋,没错,它确实很霸道,只能自己一个人持有;写者在释放锁的时候,很简单,直接将
rw->lock
值清零即可;缺点:由于读者的判断条件很苛刻,假设出现了接二连三的读者来访问临界区,那么
rw->lock
的值将一直不为0,也就是会把写者活活的气死,噢,是活活的饿死。
读写锁当然也有类似于自旋锁的关中断、关底半部的形式:
read_lock_irq/read_lock_bh/write_lock_irq/write_lock_bh
,原理都类似,不再赘述了。4. seqlock顺序锁
顺序锁也区分读锁与写锁,它的优点是读者不会把写者给饿死。
来看一下流程图:
顺序锁的读锁有三种形式:
无加锁访问,读者在读临界区之前,先读取序列号,退出临界区操作后再读取序列号进行比较,如果发现不相等,说明被写者更新内容了,需要重新再读取临界区,所以这种情况下可能给读者带来的开销会大一些;
加锁访问,实际是
spin_lock/spin_unlock
,仅仅是接口包装了一下而已,因此对读和写都是互斥的;在形式1和形式2中动态选择,如果有写者在写临界区,读者化身为自旋锁,没有写者在写临界区,则化身为顺序无锁访问;
顺序锁的写锁,只有一种形式,本质上是用自旋锁来保护临界区,然后再把序号值自加处理;
顺序锁也有一些局限的地方,比如采用读者的形式1的话,临界区中存在地址(指针)操作,如果写者把地址进行了修改,那就可能造成访问错误了;
说明一下流程图中的
smp_rmb/smp_wmb
,这两个函数是内存屏障操作,作用是告诉编译器内存中的值已经改变,之前对内存的缓存(缓存到寄存器)都需要抛弃,屏障之后的内存操作需要重新从内存load
,而不能使用之前寄存器缓存的值,内存屏障就像是代码中一道不可逾越的屏障,屏障之前的load/store
指令不能跑到屏障的后边,同理,后边的也不能跑到前边;顺序锁也同样存在关中断和关下半部的形式,原理基本都是一致的,不再啰嗦了。
最近在项目中,遇到了RCU Stall的问题,下一个topic就先来看看RCU吧,其他的并发机制都会在路上,
Just keep growing and fuck everthing else
,收工!如果觉得文档对您有帮助,那就点个
在看
吧,谢谢。推荐阅读:
专辑|Linux文章汇总
专辑|程序人生
嵌入式Linux
微信扫描二维码,关注我的公众号
linux spinlock/rwlock/seqlock原理剖析(基于ARM64)相关推荐
- 一文解析linux spinlock/rwlock/seqlock原理(基于ARM64)
说明: Kernel版本:4.14 ARM64处理器,Contex-A53,双核 使用工具:Source Insight 3.5, Visio 1. 概述 吹起并发机制研究的进攻号角了! 作为第一篇文 ...
- 深入剖析基于并发AQS的(独占锁)重入锁(ReetrantLock)及其Condition实现原理
[版权申明]未经博主同意,谢绝转载!(请尊重原创,博主保留追究权) http://blog.csdn.net/javazejian/article/details/75043422 出自[zejian ...
- 基于linux epoll网络编程细节处理丨epoll原理剖析
epoll原理剖析以及三握四挥的处理 1. epoll原理详解 2. 连接的创建与断开 3. epoll如何连接细节问题 视频讲解如下,点击观看: 基于linux epoll网络编程细节处理丨epol ...
- 《Linux内核完全剖析-基于0.12内核》书评之陈莉君
<Linux内核完全剖析-基于0.12内核>书评之陈莉君 <Linux内核完全剖析-基于0.12内核>一书出版之后,机械工业出版社编辑希望我就此书抽空写一个书评.在我拿到这本书 ...
- Linux 操作系统原理 — 内存 — 基于局部性原理实现的内/外存交换技术
目录 文章目录 目录 前文列表 基于局部性原理实现的内-外存交换技术 局部性原理 Swap 交换分区 前文列表 <Linux 操作系统原理 - 内存 - 物理存储器与虚拟存储器> < ...
- 【linux kernel】基于ARM64分析linux内核的链接脚本vmlinux.lds.S
文章目录 一.导读 二.链接器是什么 三.链接脚本 四.linux内核的链接脚本 4-1 头文件包含描述 4-2 参数设置和宏定义描述 4-3 SECTIONS内容分析 五.linux内核的" ...
- epoll原理剖析以及reactor模型应用丨网络编程|网络IO|select|poll|socket|reactor多核实现丨c/c++linux服务器开发
epoll原理剖析以及reactor模型应用 视频讲解如下,点击观看: epoll原理剖析以及reactor模型应用丨网络编程|网络IO|select|poll|socket|reactor多核实现丨 ...
- 基于 arm64 Linux nanosleep 系统调用流程分析
nanosleep (高分辨率睡眠)可实现纳秒级的睡眠,暂停调用线程的执行.在 Linux 内核中是如何实现的?下面基于 arm64 cpu 架构去分析. #include <time.h> ...
- 【重识云原生】第六章容器6.1.7.2节——cgroups原理剖析
<重识云原生系列>专题索引: 第一章--不谋全局不足以谋一域 第二章计算第1节--计算虚拟化技术总述 第二章计算第2节--主流虚拟化技术之VMare ESXi 第二章计算第3节--主流虚拟 ...
最新文章
- * core-js/modules/es6.array.fill in ./node_modules/_cache-loader@2.0.1@cache-loader/dist/cjs.js??ref
- 在温暖的南方惠州①月了。。
- ARP侦查工具Netdiscover
- 大专计算机专业内容,大专计算机专业毕业论文参考范例
- java SSM框架
- 2015 German Collegiate Programming Contest (GCPC 15)
- 如何参与一个GitHub开源项目
- leveldb登山之路——cache
- python list元素合并_Python-列表+-01-两个列表各元素合并
- linux mysql 查询慢_linux – MySQL非常简单的SELECT查询速度极慢
- 艰难前行的故事 (《梦断代码》读后感)
- KITTI 3D目标检测数据集解析(完整版)
- 8款免费的Windows数字签名软件【附下载】
- Oracle进阶(六)包(Package)和包体
- Canvas学习参考文档
- Android TextView中 代码字体加粗方法
- karma+phantomjs+mocha+chai使用心得
- JAVA8新特性的总结
- 绝地求生——想知道你有多少种死法吗?
- Beyond Compare解决java文件对比中文乱码问题
热门文章
- mac 下 使用 java运行 class 文件 总是提示 “错误: 找不到或无法加载主类”的解决方法...
- jQuery EasyUI使用教程之基本的拖放
- 大数据时代的移动即时通讯
- Java中BufferedReader和InputStreamReader
- 如何选择程序设计语言
- 【R】语言第三课----矩阵
- 蔬菜大棚成本_蔬菜大棚种植成本和利润究竟如何?种植户有话说
- baidumap vue 判断范围_vue 数据渲染
- php基本函数对象,PHP常用函数对象_PHP教程
- eclipse的java帮助文档_java在Eclipse中文apidoc帮助文档导入.doc