基于另一个数据框在Pandas中创建新列

Question

我需要根据第二个数据帧的属性向现有的pandas数据帧添加一列。我做了一个最小的例子来说明我的确切要求。

我有两个数据帧，一个代表一对名字，另一个代表两个人之间的互动：

    >>> names
    id_a   id_b
0    ben   jack
1   jack    ben
2   jill   amir
3  wilma   jill
4   amir  wilma

>>> interactions
  individual1 individual2
0        jill        jack
1        jack        jill
2       wilma        jill
3        amir        jill
4        amir        jack
5        jack        amir
6        jill        amir

我需要的基本上是这样的：对于names中的每对名称，我需要计算这两个名称之间的相互作用的数量，因此interactions中names['id_a']或interactions['individual1']和interactions['individual2']的names['id_b']中的行数是interactions['individual1']或者interactions['individual2']。这个计数需要包含在名称中所有行的列num_interactions中，即使名称是重复的（即，如果有一行，其中id_a是ben，id_b是jack，而行是其中这些名称相反的行（id_a是jack和id_b是ben），这两行都应该包含num_interactions）

结果数据框如下所示：

>>> names
    id_a   id_b  num_interactions
0    ben   jack               0.0
1   jack    ben               0.0
2   jill   amir               2.0
3  wilma   jill               1.0
4   amir  wilma               0.0
    enter code here

What I've Done

这很好用，但它很难看，难以阅读，效率低下，而且我知道必须有更好的方法！也许有某种合并，但我真的不知道如何使用复杂的标准......

for i in range(len(names)):
    names.loc[i, 'num_interactions'] = len(
        interactions[((interactions['individual1'] == names.loc[i, 'id_a']) &
                      (interactions['individual2'] == names.loc[i, 'id_b'])) |
                     ((interactions['individual2'] == names.loc[i, 'id_a']) &
                      (interactions['individual1'] == names.loc[i, 'id_b']))
                     ])

To Reproduce my example dataframes

如果你想玩这个，你可以使用它来重现我上面的虚拟数据帧。

import pandas as pd
names = pd.DataFrame(data={'id_a': ['ben', 'jack', 'jill', 'wilma', 'amir'],
                           'id_b': ['jack', 'ben', 'amir', 'jill', 'wilma']})

interactions = pd.DataFrame(data={'individual1': ['jill', 'jack',
                                                  'wilma', 'amir',
                                                  'amir', 'jack', 'jill'],
                                  'individual2': ['jack', 'jill', 'jill',
                                                  'jill', 'jack', 'amir',
                                                  'amir']})

提前致谢！

Answer 1

假设顺序无关紧要，您可以按列对每个数据框进行排序。对于第二个数据帧，使用groupby + count计算每组交互，然后对结果和第一个数据帧执行左外部merge。

i = pd.DataFrame(np.sort(names, axis=1))
j = pd.DataFrame(np.sort(interactions, axis=1))

k = j.groupby(j.columns.tolist())[0].count().reset_index(name='count')

df = i.merge(k, on=[0, 1], how='left')\
      .fillna(0)\
      .rename(columns={0 : 'id_a', 1 : 'id_b'})
df.iloc[:, :2] = names.values

df

   id_a   id_b  count
0   ben   jack    0.0
1   ben   jack    0.0
2  amir   jill    2.0
3  jill  wilma    1.0
4  amir  wilma    0.0

Answer 2

对不起，我添加新列等有点难看，但你可以得到这个想法并改进它......首先我假设名称中的所有对都是唯一的。所以我给每一对一个ID

names_ids = pd.DataFrame(pd.concat([names.iloc[:, 0] + '-' + names.iloc[:, 1],
                         names.iloc[:, 1] + '-' + names.iloc[:, 0]], 
                                   axis=0), 
                         columns=['pair'])
names_ids['id'] = names_ids.index
names_ids.index = names_ids.pair

然后我将这些ID加入到交互中，我再次在交互中翻转每一对

interactions_new = pd.DataFrame(pd.concat([interactions.iloc[:, 0] + '-' + interactions.iloc[:, 1],
                               interactions.iloc[:, 1] + '-' + interactions.iloc[:, 0]],
                                          axis=0),
                                columns=['pair'])
interactions_new['count'] = np.ones(len(interactions_new))

count_id = interactions_new.join(names_ids['id'], on='pair', how='left').groupby('id').count().loc[:, ['count']]
count_id['id'] = count_id.index

所以最后我只计算交互中的每个id：

names_ids.index = names_ids.id
result = count_id.join(names_ids.pair.iloc[:len(names_ids)/2], on='id', how='left')
result['count'] /= 2
print result

丑陋但没有循环，我得到：

     count   id        pair
id                         
2.0      2  2.0   jill-amir
3.0      1  3.0  wilma-jill