python创建数组并运行_python-Cython中从现有数组和变量创建新数组...
与“普通” Python相比,Cython为我们提供了更多对array.array内部的访问,因此我们可以利用它来加速代码：
>对于您的小示例,几乎减少了7倍(消除了大部分开销).
对于较大的输入,通过消除不必要的数组副本,将其乘以2.
请阅读以获得更多详情.
尝试针对如此小的输入优化功能是有点不寻常的,但并非没有(至少是理论上的)兴趣.
因此,让我们从您的函数作为基线开始：
a=array('l', [1,2,3])
%timeit pyappend(a, 8)
1.03 ?s ± 10.4 ns per loop (mean ± std. dev. of 7 runs, 1000000 loops each)
lst=[1,2,3]
%timeit pylistappend(lst, 8)
279 ns ± 6.03 ns per loop (mean ± std. dev. of 7 runs, 1000000 loops each)
我们必须意识到：我们要衡量的不是复制成本而是开销成本(python解释器,调用函数等),例如a包含3个元素还是5个元素没有什么区别：
a=array('l', range(5))
%timeit pyappend(a, 8)
1.03 ?s ± 6.76 ns per loop (mean ± std. dev. of 7 runs, 1000000 loops each)
在数组版本中,我们有更多的开销,因为我们通过复制模块进行了间接访问,我们可以尝试消除这种情况：
def pyappend2(arr, x):
result = array('l',arr)
result.append(x)
return result
%timeit pyappend2(a, 8)
496 ns ± 5.04 ns per loop (mean ± std. dev. of 7 runs, 1000000 loops each)
那更快.现在让我们使用cython-这将消除翻译程序的成本：
%%cython
def cylistappend(lst, x):
result = lst[:]
result.append(x)
return result
%%cython
from cpython cimport array
def cyappend(array.array arr, long long int x):
cdef array.array res = array.array('l', arr)
res.append(x)
return res
%timeit cylistappend(lst, 8)
193 ns ± 12.4 ns per loop (mean ± std. dev. of 7 runs, 10000000 loops each)
%%timeit cyappend(a, 8)
421 ns ± 8.08 ns per loop (mean ± std. dev. of 7 runs, 1000000 loops each)
cython版本的列表大约快33％,阵列大约快10％.构造函数array.array()期望可迭代,但是我们已经有了array.array,因此我们使用cpython中的功能来访问array.array对象的内部,并稍微改善这种情况：
%%cython
from cpython cimport array
def cyappend2(array.array arr, long long int x):
cdef array.array res = array.copy(arr)
res.append(x)
return res
%timeit cyappend2(a, 8)
305 ns ± 7.25 ns per loop (mean ± std. dev. of 7 runs, 1000000 loops each)
下一步,我们需要知道array.array如何追加元素：通常为it over-allocates,所以append()的摊销成本为O(1),但是在array.copy之后,新数组恰好是所需数量的元素,下一个追加调用重新分配.我们需要进行更改(有关使用的功能的说明,请参见here)：
%%cython
from cpython cimport array
from libc.string cimport memcpy
def cyappend3(array.array arr, long long int x):
cdef Py_ssize_t n=len(arr)
cdef array.array res = array.clone(arr,n+1,False)
memcpy(res.data.as_voidptr, arr.data.as_voidptr, 8*n)#that is pretty sloppy..
res.data.as_longlongs[n]=x
return res
%timeit cyappend3(a, 8)
154 ns ± 1.34 ns per loop (mean ± std. dev. of 7 runs, 10000000 loops each)
与您的函数类似,内存已过度分配,因此我们不再需要调用resize().现在我们比列表快,比原始python版本快近7倍.
让我们比较一下更大数组大小的时序(a = array(‘l’,range(1000)),lst = list(range(1000))),其中数据的复制占据了大部分运行时间：
pyappend 1.84 ?s #copy-module is slow!
pyappend2 1.02 ?s
cyappend 0.94 ?s #cython no big help - we are copying twice
cyappend2 0.90 ?s #still copying twice
cyappend3 0.43 ?s #copying only once -> twice as fast!
pylistappend 4.09 ?s # needs to increment refs of integers
cylistappend 3.85 ?s # the same as above
现在,消除不必要的array.array副本可以得到预期的因子2.
对于更大的数组(10000个元素),我们看到以下内容：
pyappend 6.9 ?s #copy-module is slow!
pyappend2 4.8 ?s
cyappend2 4.4 ?s
cyappend3 4.4 ?s
两个版本之间不再存在差异(如果放弃慢速复制模块).这样做的原因是对如此大量元素的array.array的行为发生了改变：复制时,它会过度分配,从而避免了在第一个append()之后进行重新分配.
我们可以轻松地检查它：
b=array('l', array('l', range(10**3)))#emulate our functions
b.buffer_info()
[] (94481422849232, 1000)
b.append(1)
b.buffer_info()
[] (94481422860352, 1001) # another pointer address -> reallocated
...
b=array('l', array('l', range(10**4)))
b.buffer_info()
[](94481426290064, 10000)
b.append(33)
b.buffer_info()
[](94481426290064, 10001) # the same pointer address -> no reallocation!
python创建数组并运行_python-Cython中从现有数组和变量创建新数组...相关推荐
- Java黑皮书课后题第7章：*7.12（倒置数组）7.7节中的reverse方法通过复制到新数组实现倒置。改写方法将参数中传递的数组倒置，并返回该数组。编写一个测试程序，输入10个数字，倒置它们并显示
7.12(倒置数组)7.7节中的reverse方法通过复制到新数组实现倒置.改写方法将参数中传递的数组倒置,并返回该数组.编写一个测试程序,输入10个数字,倒置它们并显示 题目 题目描述 破题 代码 ...
- Python编程语言学习：在for循环中如何同时使用2个变量或者3个变量
Python编程语言学习:在for循环中如何同时使用2个变量或者3个变量 目录 在for循环中如何同时使用2个变量或者3个变量 在for循环中如何同时使用2个变量
- 数组[Java]（除去一个数组中的某个值并生成一个新数组）
** 数组 **[Java](除去一个数组中的某个值并生成一个新数组) 例如:现在有如下的一个数组: int oldArr[]={1,3,4,5,0,0,6,6,0,5,4,7,6,7,0,5} ; ...
- python启动多个进程_Python程序中的进程操作--—--开启多进程
Python程序中的进程操作-----开启多进程 之前我们已经了解了很多进程相关的理论知识,了解进程是什么应该不再困难了,刚刚我们已经了解了,运行中的程序就是一个进程.所有的进程都是通过它的父进程来创 ...
- python输入y继续运行_Python二三事 - 接触Python(x,y)
注释:本文原来转自博客大巴的一篇文章,向原作者致谢!我也做了相应的修改,更加完善对于Pythonx,y的介绍 Python 二三事 面向初学者介绍Python相关的一些工具,以及可能遇到的常见问题. ...
- python类中包含一个特殊的变量、它可以访问类的成员_Python类中包含一个特殊的变量（ ），它表示当前对象自身，可以访问类的成员....
包含票务系统的业务管理主要内容包括()A:运营监督B:规则管理C:信息管理D:财务管理E:模式管理 特殊表嘌呤核苷酸补救合成途径的主要器官是().A:脑组织B:小肠C:胸腺D:肝脏E:肾脏 示当身嘌呤 ...
- java中字符串的创建_【转载】 Java中String类型的两种创建方式
本文转载自 https://www.cnblogs.com/fguozhu/articles/2661055.html Java中String是一个特殊的包装类数据有两种创建形式: String s ...
- mysql 存储过程 set into_mysql存储过程之创建（CREATE PROCEDURE）和调用（CALL）及变量创建（DECLARE）和赋值（SET）操作方法...
本文实例讲述了mysql存储过程之创建(CREATE PROCEDURE)和调用(CALL)及变量创建(DECLARE)和赋值(SET)操作方法.分享给大家供大家参考,具体如下: 存储过程创建(CRE ...
- python三维数组怎么表示_python – numpy中的三维数组
你有一个截断的数组表示.让我们看一个完整的例子: >>> a = np.zeros((2, 3, 4)) >>> a array([[[ 0., 0., 0., 0 ...
- python中如何创建类的对象_python面向对象中如何建立具体的对象？
我们现在眼前所能看到的事物,都是具体的对象.很多小伙伴在面向对象中创建对象,其实都停留在对象名称的建立,计算机中并没有具体对象的描述属性.我们想要使用python中的类,建立的对象就需要是具体的.下面 ...
最新文章
- 基于OpenCV的特定区域提取
- FFmpeg音频编码 ---- pcm转aac（使用新版ffmpeg API，亲测可用）
- SpringBoot Quartz 定时任务详解
- Python从零开始系列连载（11）——Python的基本运算和表达式（中二）
- 安装python要注意什么_安装python注意事项
- 常见面试算法：朴素贝叶斯
- ctr z撤回反向_Ctrl+Z 的反快捷键是什么
- 对抗神经网络（python-一维数据）
- 生成权重 transorflow:Early stoppting conditioned on metric `val_accuracy` which is not available
- 读书笔记-《人人都是产品经理V1.1》
- GWAS数据分析流程—SNP、Indel提取
- 基于容器云技术的典型遥感智能解译算法集成
- cordova 创建app项目，签名打包部署
- 犹太富翁是怎样培养小富翁的？（永远的经典）
- 卡西欧学生用计算机怎么玩,你真的会用计算器么？来玩转卡西欧计算器吧
- 6-1 设计一个动物声音模拟器
- 图形验证码实现和判断并点击验证码切换
- python如何使用多线程_python如何使用多线程
- 述职报告不会写？看这篇！
- 漏洞解决：用户名枚举