python多线程处理数据并获得子线程返回值

前言
python3中的多线程
- 用方法包装函数
- 用类包装函数
获取子线程返回值
- 从类中返回值
- 其他方法

前言

python中采用多线程方式处理大数据量的数据是比较常见和便捷的方法，而有时还想获取每个子线程运行得到的结果，因此将多线程处理和获取子线程返回值的方法做一总结。

python3中的多线程

两种方式：用方法包装函数、用类包装函数。

用方法包装函数

_thread.start_new_thread (func, args[, kwargs])

其中，func是线程函数，args是传递给线程函数的参数且类型必须是tuple，kwargs是可选参数。

注意：

在python2中，多线程函数模块为thread，但是在python3中该模块已被_thread继承，并重新定义了新的多线程模块threading。

_thread模块提供了低级别的、原始的线程以及一个简单的锁，它相比于threading模块的功能比较有限。

以下是一个通过_thread模块实现多线程的简单示例：

import _thread
import timedef print_time(thread_name, delay):c = 0while c < 5:time.sleep(delay)c += 1res = "%s: %s" % (thread_name, time.ctime(time.time()))print(res)# return res  # 作为线程运行时函数中的return是无意义的if __name__ == "__main__":# 用方法包装线程try:try:_thread.start_new_thread(print_time, ("Thread-1", 1, ))_thread.start_new_thread(print_time, ("Thread-2", 2, ))except:pass# 谨慎使用此操作：极其耗费cpuwhile 1:time.sleep(0.1)except KeyboardInterrupt:print("You stop the threading.")

注意：

该方法因为需要while 1循环运行才能跑完多个线程，且无法自动退出，只能手动退出；

由于while 1操作极耗内存，因此需加入sleep机制缓解此情况；

考虑到threading模块构建类进行多线程操作更友好，因此实际应用中不采用此方法。

用类包装函数

首先通过threading模块构建多线程类MyThread.py。

import threading
import time# MyThread.py线程类
class MyThread(threading.Thread):def __init__(self, func, args=()):super(MyThread, self).__init__()self.func = funcself.args = argsdef run(self):time.sleep(1)self.func(*self.args)

其中，func是线程函数，arg是传递给线程函数的参数且类型是tuple。

获取子线程返回值

获取子线程结果的方法不少，包括：

从类中返回值;
设置全局队列写入返回值;
通过multiprocessing.pool.ThreadPool获取返回值;
通过concurrent.futures，结合set_result和result方法获取返回值等。

从类中返回值

从类中返回值是非常常见简便的方法，该方法的多线程类可以将上文中的MyThread.py文件稍作修改：

import threading
import time# MyThread.py线程类
class MyThread(threading.Thread):def __init__(self, func, args=()):super(MyThread, self).__init__()self.func = funcself.args = argsself.result = []def run(self):time.sleep(1)self.result = self.func(*self.args)def get_result(self):try:return self.resultexcept Exception:return None

在该方法的基础上，就可以实现返回子线程结果的功能了。
以下通过一个简单示例来说明：

from MyThread import MyThreaddef add(a, b):c = a + breturn cif __name__ == "__main__":# 用类包装线程ls = [23, 89]thr = []# 创建4个线程for i in range(4):task = MyThread(add, (ls[0], ls[1]))task.start()task.join()thr.append(task.get_result())print(thr)

这里写了一个简单的加法函数add，通过调用多线程类MyThread来实现获取子线程结果的功能。

这里需要注意两点：

一定要先join子线程再get_result获取子线程结果，否则只会返回最后一个运行的子线程的结果。这是因为加入join阻塞后主线程必须等待所有子线程执行结束才会结束，那么每个子线程的结果都会通过task.get_result()获得。

一定不能将join加入MyThread的get_result中，这样虽然同样会获取子线程结果，但是多线程执行会失效。这一操作实质上是将多个线程顺序执行，因为在子线程中加入join阻塞后必须等待此子线程执行完才会执行下一个子线程，因此这一操作相当于将程序又变成单线程执行。

其他方法

其他方法暂时还没有研究和实操，等之后试过再写吧。

python多线程处理数据并获得子线程返回值相关推荐

python 子线程返回值_python-从线程返回值
python-从线程返回值我如何获得一个线程以将元组或我选择的任何值返回给Python中的父级? 12个解决方案 59 votes 我建议您在启动线程之前实例化Queue.Queue,并将其作为线程 ...
C语言线程的回收与子线程返回值的接收
穿的参数为二级指针需要用全局变量来返回子线程的返回值 // ..使用内存映射可以拷贝文件 /* 对原始文件进行内存映射创建一个新文件把新文件的数据拷贝映射到内存中通过内存拷贝将第一个文件的内存 ...
java 获取子线程_Java 主线程获取子线程返回结果
1.自定义 package com.jgyang.com; public class MySyncThreadTest { public static void main(String[] args) ...
Python 获取线程返回值获取
Python 获取线程返回值获取思路重写run方法,使用线程的get_result()方法获取返回结果 '''示例: 多线程访问百度,统计平均响应时间和错误率''' class MyThread( ...
线程返回值的方式介绍
博客微博相册收藏留言关于我线程返回值的方式介绍博客分类: 多线程 Java代码在Java5之前,线程是没有返回值的,常常为了"有"返回值,破费周折,而且代码很不 ...
统计文件种类数+获取子shell返回值的其它方法
前言只是作为一个shell的小小练习和日常统计用,瞎折腾的过程中也是摸到了获取子shell返回值的几种方法: 肯定还有别的方法,跟进程间的通信相关,希望你能提出建议和补充,谢谢~ 完整程序: #! ...
实际开发问题解决记录: 需求是mysql执行查询返回数据给前端既要返回值不为NULL的列也要返回值为NULL的列(值为NULL的列列名返回给前端)
一.查询值不为NULL 的列我们先来看数据库所有数据执行的sql语句: select id,FCJ,comeCoalForecast from FCJ 查询结果如下: 看完执行查询所有数据的例子 ...
python os.system_python中os.system()的返回值
最近遇到os.system()执行系统命令的情况,上网搜集了一下资料,整理如下,以备不时之需,同时也希望能帮到某些人. 一.python中的 os.system(cmd)的返回值与linux命令返回值 ...
Boost(6)：Boost.Python 如何转换 C++ 的参数和返回值类型
概述在使用 Boost.Python 转换 C++ 程序到 Python 接口的过程中,我们经常需要处理 C++ 参数和返回类型,但是不同编程语言,支持的数据类型会很不一样.虽然对于 int/str ...

python多线程处理数据并获得子线程返回值

python多线程处理数据并获得子线程返回值

前言

python3中的多线程

用方法包装函数

用类包装函数

获取子线程返回值

从类中返回值

其他方法

python多线程处理数据并获得子线程返回值相关推荐

最新文章

热门文章