“计数矢量化器（）”在空间上而不是在逗号上拆分

Question

因此，在我的数据帧中，我有一列“Actors”，其中包含演员的多个“first_name姓氏”。例如：“丹尼斯·克里斯托弗，丹尼斯·奎德，丹尼尔·斯特恩”作为类型“类别”当我使用它时，会将上述组稀疏为6个单词。我希望该函数不考虑名称之间的''（空格），而只考虑''，因此在前面的示例中，它将稀疏为3个单词。CountVectorizer().fit_transform(df['Actors'])vectorizer = CountVectorizer() Actors_f = vectorizer.fit_transform(df.loc[df['Actors'].notna(), 'Actors'])有没有办法做到这一点？

Answer 1

与本问题类似：如何将带小数或逗号的数字视为计数中的一个单词计算器，您必须更改用于标记输入的正则表达式。

如文档所述，默认正则表达式为：

token_pattern='(?u)\b\w\w+\b'

哪些匹配：

(/u)- 统一码字符

\b- 字边界（例如空格）

\w- 一个词

\w+- 连续词直到...

\b- 另一个单词边界（例如字符串的末尾）

你需要的是这个：

 token_pattern='(?u)[a-zA-Z][a-z ]+'

特别是，空格字符包含在令牌中，这使得捕获名称+姓氏成为一个标记。

检查正则表达式文档以了解正则表达式的含义。

Answer 2

我设法做到了这一点

bigram_vectorizer = CountVectorizer(ngram_range=(2, 2), min_df=1)
bigram_vectorizer.fit_transform(df['Actors'])

Answer 3

可能是一种更具可读性和直观性的方法

import re

re_exp = r"\,"

vectorizer = CountVectorizer(tokenizer=lambda text: re.split(re_exp,text))

“科学学习”文档说

分词器：可调用，默认=无 覆盖字符串分词化步骤，同时保留预处理和 n-gram 生成步骤。仅当分析器 == “单词”时才适用。

Answer 4

使用下面的分词器在你的情况下按逗号拆分：

矢量化器 = 计数向量器（分词器 = lambda x： x.split（'，'）)