为什么要花这么长时间，Numpy 数组过滤代码？

Question

我有这段代码可以从零行过滤大型 numpy 数组（6000000 行）。nonZero_training_data=[]for i in get_training_data:    if (np.equal(i[0],[[0,0,0,0],[0,0,0,0]]).all()):        continue    nonZero_training_data=nonZero_training_data+[i]数组中的每一行像这样： [(array([[x1,x2,x3,x4], [x1,x2,x3,x4]]), y),]但是执行时间很长，可能需要一分钟或更长时间。这是 get_training_data 中的前 5 行：array([[array([[0.2, 0., 0., 0.],       [0.9, 0., 0., 3.]]),        1],       [array([[0., 4., 1., 0.],       [0., 0., 1., 0.]]), 1],       [array([[2., 0., 7., 0.],       [0., 0., 1., 8.]]),        0],       [array([[0., 5., 0., 2.],       [0., 8., 0., 1.]]),        0],       [array([[0., 1., 0., 1.],       [0., 5., 0., 0.]]),        1]], dtype=object)有没有更有效的方法来做到这一点？对不起我的英语，任何更正我都会很感激。

Answer 1

我不是 numpy 的专家，但显然你的目标只是通过过滤一些元素来构建一个列表。您可以使用列表理解来实现这一点，它既快又短：

nonZero_training_data = [i for i in get_training_data if not (np.equal(i[0],[[0,0,0,0],[0,0,0,0]]).all())]

无论如何，你的代码很慢并不奇怪：当你这样做时，你每次尝试附加一个元素时都会构建和复制一个新列表：

nonZero_training_data = nonZero_training_data + [i]

这产生了二次时间复杂度。您绝对应该通过将其替换为以下内容来体验改进：

nonZero_training_data.append(i)

它将新元素附加到位，而不是构建一个新列表，然后将其复制到您的变量中。

Answer 2

这是一个仅使用 numpy 的解决方案，应该比列表理解更快。

vfunc = np.vectorize(lambda x: not isinstance(x,int) and np.all(x[0] == [[0,0,0,0],[0,0,0,0]]))

mask = vfunc(get_training_data)[:,0]

get_training_data[~mask]

没有矢量化：

mask = ~np.apply_along_axis( lambda x: np.all(x[0] == [[0,0,0,0],[0,0,0,0]]), arr = get_training_data,axis= 1)

get_training_data[mask]