如何找到一个向量与矩阵的余弦相似度

问题描述

我有一个TF-IDF矩阵，形状为（149,1001）。想要的是计算所有列的最后一列的余弦相似度

这就是我所做的

from numpy import dot
from numpy.linalg import norm
for i in range(mat.shape[1]-1):
    cos_sim = dot(mat[:,i],mat[:,-1])/(norm(mat[:,i])*norm(mat[:,-1]))
    cos_sim

但是此循环使其变慢。那么，有什么有效的方法吗？我只想用numpy做

解决方法

将2D矢量化的matrix-multiplication

这是使用NumPy在2D数据上使用矩阵乘法的人-

p1 = mat[:,-1].dot(mat[:,:-1])
p2 = norm(mat[:,:-1],axis=0)*norm(mat[:,-1])
out1 = p1/p2

说明：：p1是dot(mat[:,i],mat[:,-1])循环的矢量化等效项。 p2属于(norm(mat[:,i])*norm(mat[:,-1]))。

运行示例以进行验证-

In [57]: np.random.seed(0)
    ...: mat = np.random.rand(149,1001)

In [58]: out = np.empty(mat.shape[1]-1)
    ...: for i in range(mat.shape[1]-1):
    ...:     out[i] = dot(mat[:,-1])/(norm(mat[:,-1]))

In [59]: p1 = mat[:,:-1])
    ...: p2 = norm(mat[:,-1])
    ...: out1 = p1/p2

In [60]: np.allclose(out,out1)
Out[60]: True

时间-

In [61]: %%timeit
    ...: out = np.empty(mat.shape[1]-1)
    ...: for i in range(mat.shape[1]-1):
    ...:     out[i] = dot(mat[:,-1]))
18.5 ms ± 977 µs per loop (mean ± std. dev. of 7 runs,100 loops each)

In [62]: %%timeit   
    ...: p1 = mat[:,-1])
    ...: out1 = p1/p2
939 µs ± 29.2 µs per loop (mean ± std. dev. of 7 runs,1000 loops each)

# @yatu's soln
In [89]: a = mat

In [90]: %timeit cosine_similarity(a[None,:,-1],a.T[:-1])
2.47 ms ± 461 µs per loop (mean ± std. dev. of 7 runs,100 loops each)

使用norm在einsum上进行进一步优化

或者，我们可以用p2来计算np.einsum。

因此，norm(mat[:,axis=0)可以替换为：

np.sqrt(np.einsum('ij,ij->j',:-1]))

因此，给我们修改后的p2：

p2 = np.sqrt(np.einsum('ij,:-1]))*norm(mat[:,-1])

与以前相同的设置上的计时-

In [82]: %%timeit
    ...: p1 = mat[:,:-1])
    ...: p2 = np.sqrt(np.einsum('ij,-1])
    ...: out1 = p1/p2
607 µs ± 132 µs per loop (mean ± std. dev. of 7 runs,1000 loops each)

30x+ 加快了循环速度！

有一个sklearn函数来计算向量cosine_similarity之间的余弦相似度。这是一个带有示例数组的用例：

a = np.random.randint(0,10,(5,5))
print(a)
array([[5,2,4,1],[4,8,4],[9,7,9,7],6,1,3],[1,5,0]])

from sklearn.metrics.pairwise import cosine_similarity
cosine_similarity(a[None,a.T[:-1])
# array([[0.94022805,0.91705665,0.75592895,0.79921221,1.        ]])

a[None,-1]是a中的最后一列，其形状经过了重塑，以使两个矩阵具有相等的形状Mat.shape[1]，这是函数的要求：

a[None,-1]
# array([[1,3,0]])

通过换位，结果将是cosine_similarity和所有其他列。

检查问题的解决方案：

from numpy import dot
from numpy.linalg import norm
cos_sim = []
for i in range(a.shape[1]-1):
    cos_sim.append(dot(a[:,a[:,-1])/(norm(a[:,i])*norm(a[:,-1])))

np.allclose(cos_sim,cosine_similarity(a[None,a.T[:-1]))
# True

cosine-similarity numpy python