创建一个计算每个新行之间差异的列

Question

我有一个带有一些日期的数据框，以及我从csv文件中读取的每个日期的相关数据（文件相对较小，大小为10,000行，大约10列）：

memid   date        a   b
10000   7/3/2017    221 143
10001   7/4/2017    442 144
10002   7/6/2017    132 145
10003   7/8/2017    742 146
10004   7/10/2017   149 147

我想在此数据框中添加一列“date_diff”，用于计算每个日期与之前最近日期之间的天数（行始终按日期排序）：

memid   date        a   b    date_diff
10000   7/3/2017    221 143  NaN
10001   7/4/2017    442 144  1
10002   7/6/2017    132 145  2
10003   7/8/2017    742 146  2
10004   7/11/2017   149 147  3

我很难找到一个创建这个“date_diff”列的好方法，因为当使用pandas / numpy时，逐行迭代往往会不受欢迎。有没有一种简单的方法可以在python / pandas / numpy中创建这个列，或者在将csv读入我的脚本之前更好地完成这项工作？

谢谢！

编辑：感谢jpp和Tai的回答。它涵盖了原始问题，但我有一个跟进：

如果我的数据集每个日期有多行，该怎么办？有没有办法轻松检查每组日期之间的差异，以产生如下例所示的输出？如果每个日期有一定数量的行，是否更容易？

 memid  date        a   b   date_diff
 10000  7/3/2017    221 143 NaN
 10001  7/3/2017    442 144 NaN
 10002  7/4/2017    132 145 1
 10003  7/4/2017    742 146 1
 10004  7/6/2017    149 147 2
 10005  7/6/2017    457 148 2

Answer 1

编辑以回答OP的新问题：如果date列中有重复项会怎么样？

设置：创建不包含重复项的df

df.date = pd.to_datetime(df.date, infer_datetime_format=True) 
df_no_dup = df.drop_duplicates("date").copy()
df_no_dup["diff"] = df_no_dup["date"].diff().dt.days

方法1：merge

df.merge(df_no_dup[["date", "diff"]], left_on="date", right_on="date", how="left")

    memid   date        a   b   diff
0   10000   2017-07-03  221 143 NaN
1   10001   2017-07-03  442 144 NaN
2   10002   2017-07-04  132 145 1.0
3   10003   2017-07-04  742 146 1.0
4   10004   2017-07-06  149 147 2.0
5   10005   2017-07-06  457 148 2.0

方法2：map

df["diff"] = df["date"].map(df_no_dup.set_index("date")["diff"])

---

试试这个。

df.date = pd.to_datetime(df.date, infer_datetime_format=True)
df.date.diff()

0      NaT
1   1 days
2   2 days
3   2 days
4   2 days
Name: date, dtype: timedelta64[ns]

要转换为整数：

df['diff'] = df['date'].diff() / np.timedelta64(1, 'D')

#    memid       date    a    b  diff
# 0  10000 2017-07-03  221  143   NaN
# 1  10001 2017-07-04  442  144   1.0
# 2  10002 2017-07-06  132  145   2.0
# 3  10003 2017-07-08  742  146   2.0
# 4  10004 2017-07-10  149  147   2.0