新文本文档与现有文档列表的余弦相似度

Question

我有一个包含 1000 个带有相应关键字的文本文档的数据框。我想通过查找与列表中最相似的文档对应的关键字来提取新文档的关键字。

Answer 1

首先将您的 csv 保存到数据帧 df 并使用以下函数进行余弦相似度计算。def get_cosine(vec1, vec2): intersection = set(vec1.keys()) & set(vec2.keys()) numerator = sum([vec1[x] * vec2[x] for x in intersection])

sum1 = sum([vec1[x]**2 for x in vec1.keys()])

sum2 = sum([vec2[x]**2 for x in vec2.keys()])

denominator = math.sqrt(sum1) * math.sqrt(sum2)

if not denominator:

    return 0.0

else:

    return float(numerator) / denominator

def text_to_vector(text):

word = re.compile(r'\w+')

words = word.findall(text)

return Counter(words)

def get_result(content_a, content_b):

text1 = content_a

text2 = content_b

vector1 = text_to_vector(text1)

vector2 = text_to_vector(text2)

cosine_result = get_cosine(vector1, vector2)

return cosine_result

然后遍历 df 并调用如下函数：

similarity=[]

for ind in df.index:

#my_doc="new document should go in here"

#prev_doc= "previous document for each index should go in here"

cos=get_result(my_doc, prev_doc)

similarity.append(cos)

max_ind= similarity.index(max(similarity))  

您将获得最相似文档的索引位置