Pandas：将多列的子集映射到单列的子集的有效方法

Question

问题我正在尝试将具有相同名称的多列集合/组合成单列集合。例如：我有一个包含多个列名重复的数据框。例如，考虑这个例子，我有两个具有相同列名的多列的子集，如下所示：    A    A     A     B     B  0 cute tall tall  NaN   old  1 NaN  NaN   5    NaN   NaN  2  1   old   NaN  cute  big我的目标是将每个子集（AAA 和 BB）映射到它自己的单列子集。以下所需的输出说明了这个想法：      A_new          B_new 0   "cute, tall"    "old" 1   "5"              NaN 2   "1, old"        "cute, big"为了到达这里，我在输入数据帧上应用了以下 3 个简单逻辑：将所有非 NaN 值组合成一个字符串并将其保存到新列中。组合非 NaN 值时检查重复项并只返回那些不重复的值如果所有值都是 NaN 返回 NaN我当前的解决方案基于 for 循环，遍历每一行。但是，这种方法非常慢，而且我的数据框很大，因此我想知道是否有更有效/更快速的方法来实现这一目标？这是我当前（非常慢）的解决方案：for c,j in tqdm(enumerate(columns)): # columns is a list holding all the relevant column names    merged_values = []    for i in (range(0,len(df))):        values = [x for x in df[j].iloc[i] if x is not np.nan]        values = list(set(values))        if values == []:            values = np.nan        #print(values)        elif len(values) > 1:            values = ", ".join(values)        else:            values = values[0]        merged_values.append(values)    if c == 0:        data = pd.DataFrame(merged_values,columns=[j+"_new"])    else:        data[j] = pd.DataFrame(merged_values,columns=[j+"_new])

Answer 1

你只需stack要先然后groupby用join然后转换回来unstack

df.stack().groupby(level=[0,1]).apply(lambda x : ','.join(set(x))).unstack()

Out[237]: 

           A         B

0  cute,tall       old

1          5       NaN

2      1,old  big,cute