Very slow numpy OR operation(非常慢的麻木或操作)

本文介绍了非常慢的麻木或操作的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!

问题描述

我正在对大型数据集执行OR操作,该数据集是一个数值dtype数组对象。

下面的代码是外部for循环的一部分,该循环遍历15列,并检查这些列中是否有用户名可用,如果可用,则标记这些行以供进一步操作。

mask= mask | (np_array[:,col_index[f"COL_{col_number}"]] == username)
MASK=与NP_ARRAY长度相同的Numpy一维数组 NP_ARRAY=Numpy dtype ndarray对象

此行代码占用了我全部代码时间的60%以上。

有什么方法可以改进/优化上述代码性能吗?

谢谢, LIVA

推荐答案

alist = [(np_array[:,col_index[f"COL_{col_number}"]] == username) for col_number in range(columns)]

这应该是所有colnumber测试的列表

mask = np.logical_or.reduce(alist)

or将它们放在一起。性能应该比重复的or更好。但如果alist构建是最慢的一步,我也不会感到惊讶。

但没有可运行的示例,我无法测试或计时。

这篇关于非常慢的麻木或操作的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程学习网!