Python3之多线程学习
这里做一个自己复习多线程的笔记
Python中使用线程有两种方式:函数或者用类来包装线程对象。
函数式:调用 _thread 模块中的start_new_thread()函数来产生新线程。语法如下:
参数说明:
- function - 线程函数。
- args - 传递给线程函数的参数,他必须是个tuple类型。
- kwargs - 可选参数。
实例:
#!/usr/bin/python3import _thread import time# 为线程定义一个函数 def print_time( threadName, delay):count = 0while count < 5:time.sleep(delay)count += 1print ("%s: %s" % ( threadName, time.ctime(time.time()) ))# 创建两个线程 try:_thread.start_new_thread( print_time, ("Thread-1", 2, ) )_thread.start_new_thread( print_time, ("Thread-2", 4, ) ) except:print ("Error: 无法启动线程")while 1:pass
运行结果:
线程模块
Python3 通过两个标准库 _thread 和 threading 提供对线程的支持。
_thread 提供了低级别的、原始的线程以及一个简单的锁,它相比于 threading 模块的功能还是比较有限的。
threading 模块除了包含 _thread 模块中的所有方法外,还提供的其他方法:
- threading.currentThread(): 返回当前的线程变量。
- threading.enumerate(): 返回一个包含正在运行的线程的list。正在运行指线程启动后、结束前,不包括启动前和终止后的线程。
- threading.activeCount(): 返回正在运行的线程数量,与len(threading.enumerate())有相同的结果。
除了使用方法外,线程模块同样提供了Thread类来处理线程,Thread类提供了以下方法:
- run(): 用以表示线程活动的方法。
- start():启动线程活动。
- join([time]): 等待至线程中止。这阻塞调用线程直至线程的join() 方法被调用中止-正常退出或者抛出未处理的异常-或者是可选的超时发生。
- isAlive(): 返回线程是否活动的。
- getName(): 返回线程名。
- setName(): 设置线程名。
使用 threading 模块创建线程
我们可以通过直接从 threading.Thread 继承创建一个新的子类,并实例化后调用 start() 方法启动新线程,即它调用了线程的 run() 方法:
#!/usr/bin/python3import threading import timeexitFlag = 0class myThread (threading.Thread):def __init__(self, threadID, name, counter):threading.Thread.__init__(self)self.threadID = threadIDself.name = nameself.counter = counterdef run(self):print ("开始线程:" + self.name)print_time(self.name, self.counter, 5)print ("退出线程:" + self.name)def print_time(threadName, delay, counter):while counter:if exitFlag:threadName.exit()time.sleep(delay)print ("%s: %s" % (threadName, time.ctime(time.time())))counter -= 1# 创建新线程 thread1 = myThread(1, "Thread-1", 1) thread2 = myThread(2, "Thread-2", 2)# 开启新线程 thread1.start() thread2.start() thread1.join() thread2.join() print ("退出主线程")
运行结果:
线程同步
如果多个线程共同对某个数据修改,则可能出现不可预料的结果,为了保证数据的正确性,需要对多个线程进行同步。
使用 Thread 对象的 Lock 和 Rlock 可以实现简单的线程同步,这两个对象都有 acquire 方法和 release 方法,对于那些需要每次只允许一个线程操作的数据,可以将其操作放到 acquire 和 release 方法之间。如下:
多线程的优势在于可以同时运行多个任务(至少感觉起来是这样)。但是当线程需要共享数据时,可能存在数据不同步的问题。
考虑这样一种情况:一个列表里所有元素都是0,线程"set"从后向前把所有元素改成1,而线程"print"负责从前往后读取列表并打印。
那么,可能线程"set"开始改的时候,线程"print"便来打印列表了,输出就成了一半0一半1,这就是数据的不同步。为了避免这种情况,引入了锁的概念。
锁有两种状态——锁定和未锁定。每当一个线程比如"set"要访问共享数据时,必须先获得锁定;如果已经有别的线程比如"print"获得锁定了,那么就让线程"set"暂停,也就是同步阻塞;等到线程"print"访问完毕,释放锁以后,再让线程"set"继续。
经过这样的处理,打印列表时要么全部输出0,要么全部输出1,不会再出现一半0一半1的尴尬场面。
实例:
#!/usr/bin/python3import threading import timeclass myThread (threading.Thread):def __init__(self, threadID, name, counter):threading.Thread.__init__(self)self.threadID = threadIDself.name = nameself.counter = counterdef run(self):print ("开启线程: " + self.name)# 获取锁,用于线程同步 threadLock.acquire()print_time(self.name, self.counter, 3)# 释放锁,开启下一个线程 threadLock.release()def print_time(threadName, delay, counter):while counter:time.sleep(delay)print ("%s: %s" % (threadName, time.ctime(time.time())))counter -= 1threadLock = threading.Lock() threads = []# 创建新线程 thread1 = myThread(1, "Thread-1", 1) thread2 = myThread(2, "Thread-2", 2)# 开启新线程 thread1.start() thread2.start()# 添加线程到线程列表 threads.append(thread1) threads.append(thread2)# 等待所有线程完成 for t in threads:t.join() print ("退出主线程")
执行以上程序,输出结果为:
线程优先级队列( Queue)
queue队列
1.python3中的队列模块是queue,不是Queue
2.一般涉及到同步,多线程之类用到队列模块
3.定义了 queue.Queue 类,以及继承它的 queue.LifoQueue 类 和 queue.PriorityQueue 类 和 queue.SimpleQueue 类
4.分别对应队列类(FIFO先进先出),LIFO后进先出队列类,优先队列,无边界FIFO简单队列类
5.还有两个异常:队满和队空
队列queue公共方法
import queue#创建基本队列 #queue.Queue(maxsize=0)创建一个队列对象(队列容量),若maxsize小于或者等于0,队列大小没有限制 Q=queue.Queue(10) print(Q) print(type(Q))#1.基本方法 print(Q.queue)#查看队列中所有元素 print(Q.qsize())#返回队列的大小 print(Q.empty())#判断队空 print(Q.full())#判断队满#2.获取队列,0--5 #Queue.put(item,block = True,timeout = None )将对象放入队列,阻塞调用(block=False抛异常),无等待时间 for i in range(5):Q.put(i) # Queue.put_nowait(item)相当于 put(item, False).#3.读队列,0--5 #Queue.get(block=True, timeout=None)读出队列的一个元素,阻塞调用,无等待时间 while not Q.empty():print(Q.get()) # Queue.get_nowait()相当于get(False).取数据,如果没数据抛queue.Empty异常#4.另两种涉及等待排队任务的方法 # Queue.task_done()在完成一项工作后,向任务已经完成的队列发送一个信号 # Queue.join()阻止直到队列中的所有项目都被获取并处理。即等到队列为空再执行别的操作
其他
1.LifoQueue: LIFO后进先出
2.PriorityQueue:优先级队列,如果数据元素不具有可比性,则可将数据包装在忽略数据项的类中,仅比较优先级编号
3.SimpleQueue:简单队列,无跟踪任务的功能
Queue详细参数和用法实例
Queue 模块中的常用方法:
- Queue.qsize() 返回队列的大小
- Queue.empty() 如果队列为空,返回True,反之False
- Queue.full() 如果队列满了,返回True,反之False
- Queue.full 与 maxsize 大小对应
- Queue.get([block[, timeout]])获取队列,timeout等待时间
- Queue.get_nowait() 相当Queue.get(False)
- Queue.put(item) 写入队列,timeout等待时间
- Queue.put_nowait(item) 相当Queue.put(item, False)
- Queue.task_done() 在完成一项工作之后,Queue.task_done()函数向任务已经完成的队列发送一个信号
- Queue.join() 实际上意味着等到队列为空,再执行别的操作
实例:
import queue import threading import timeexitFlag = 0class myThread (threading.Thread):def __init__(self, threadID, name, q):threading.Thread.__init__(self)self.threadID = threadIDself.name = nameself.q = qdef run(self):print ("开启线程:" + self.name)process_data(self.name, self.q)print ("退出线程:" + self.name)def process_data(threadName, q):while not exitFlag:queueLock.acquire()if not workQueue.empty():data = q.get()queueLock.release()print ("%s processing %s" % (threadName, data))else:queueLock.release()time.sleep(1)threadList = ["Thread-1", "Thread-2", "Thread-3"] nameList = ["One", "Two", "Three", "Four", "Five"] queueLock = threading.Lock() workQueue = queue.Queue(10) threads = [] threadID = 1# 创建新线程 for tName in threadList:thread = myThread(threadID, tName, workQueue)thread.start()threads.append(thread)threadID += 1# 填充队列 queueLock.acquire() for word in nameList:workQueue.put(word) queueLock.release()# 等待队列清空 while not workQueue.empty():pass# 通知线程是时候退出 exitFlag = 1# 等待所有线程完成 for t in threads:t.join() print ("退出主线程")
转载于:https://www.cnblogs.com/-qing-/p/10877686.html
Python3之多线程学习相关推荐
- 【python3】 多线程以及多进程拷贝U盘图片数据
[python3] 多线程以及多进程拷贝U盘图片数据 1.背景 2.代码 3.运行结果及分析 1.背景 在做深度学习的时候,需要手动拷贝很多图片数据,发现U盘质量很差劲,拷贝非常耗时间,如下图: 于是 ...
- Java多线程学习处理高并发问题
在程序的应用程序中,用户或请求的数量达到一定数量,并且无法避免并发请求.由于对接口的每次调用都必须在返回时终止,因此,如果接口的业务相对复杂,则可能会有多个用户.调用接口时,该用户将冻结. 以下内容将 ...
- C#多线程学习(四) 多线程的自动管理(线程池) (转载系列)——继续搜索引擎研究...
在多线程的程序中,经常会出现两种情况: 一种情况: 应用程序中,线程把大部分的时间花费在等待状态,等待某个事件发生,然后才能给予响应 这一般使用ThreadPo ...
- python3创建多线程的几种方法
python3创建多线程主要有下面两种方法:函数.类 1.函数创建多线程 python3中,提供了一个内置模块threading.Thread,可以很方便的创建多线程,threading.Thread ...
- 艾伟:C#多线程学习(六) 互斥对象
本系列文章导航 C#多线程学习(一) 多线程的相关概念 C#多线程学习(二) 如何操纵一个线程 C#多线程学习(三) 生产者和消费者 C#多线程学习(四) 多线程的自动管理(线程池) C#多线程学习( ...
- C# 多线程学习总结
C#多线程学习(一) 多线程的相关概念 什么是进程? 当一个程序开始运行时,它就是一个进程,进程包括运行中的程序和程序所使用到的内存和系统资源.而一个进程又是由多个线程所组成的. 什么是线程? 线程是 ...
- C#多线程学习(二) 如何操纵一个线程
C#多线程学习(二) 如何操纵一个线程 原文链接:http://kb.cnblogs.com/page/42529/ [1] C#多线程学习(二) 如何操纵一个线程 [2] C#多线程学习(二) 如何 ...
- 多线程学习-基础(四)常用函数说明:sleep-join-yield
一.常用函数的使用 (1)Thread.sleep(long millis):在指定的毫秒内让当前正在执行的线程休眠(暂停执行),休眠时不会释放当前所持有的对象的锁. (2)join():主线程等待子 ...
- C#多线程学习之(五)使用定时器进行多线程的自动管理
本文实例讲述了C#多线程学习之使用定时器进行多线程的自动管理.分享给大家供大家参考.具体分析如下: Timer类:设置一个定时器,定时执行用户指定的函数. 定时器启动后,系统将自动建立一个新的线程,执 ...
最新文章
- Spark Streaming事务
- Java并发编程:CountDownLatch、CyclicBarrier和Semaphore
- 【数据竞赛】2020腾讯广告算法大赛冠军方案分享及代码
- webpack 打包第三方库_webpack打包分离第三方库和业务代码
- 高并发架构系列:Redis为什么是单线程、及高并发快的3大原因详解
- 如何自动导出内存映像文件?
- 视觉SLAM-显示相机的位姿
- nhibernate配置教程
- visual studio可以开发app吗_做好APP定制开发的计划,可以让你的应用开发事半功倍...
- 学习笔记_Java_day12_Cookie
- VS2005编译Python源代码
- 第一章 Android Framework 基础认知
- 01 ,线性代数 :二阶行列式,三阶行列式,排列,阶乘,逆序,逆序数,奇排列,偶排列,对换 :
- 爬虫之模拟强智系统登录
- 四大检索工具 和 论文查找网址大全
- ppt如何查看加载宏
- 图解 生成对抗网络GAN 原理 超详解
- java.sql.SQLException: 批处理中出现错误: batch must be either executed or cleared
- Spark bucketing bucket分桶原理和应用
- ROBOGUIDE软件:多机器人同步运动虚拟仿真