从多个pandas数据框中提取相似的日期

Question

我的500个数据框看起来像这样，它是基于日期的2年数据。

1. 日期| A列| B栏
2. 2017-04-04
3. 2017-04-05
4. 2017-04-06
5. 2017-04-07
6. ....
7. 2017-04-02
8. ...
9. 2019-02-01
10. 2019-02-11
11. 2019-02-22
12. 2019-02-27
13. 2019-03-01
14. 2019-04-01
15. 2019-05-01

所有数据帧都具有相似数量的列，但行数不同。所有这些DataFrame都有一些类似的时间戳。我想确定所有数据框中的公共时间戳。

目标是过滤掉所有500个数据帧中的公共时间戳，并创建仅具有共同时间戳的新500个数据帧的子集。

Answer 1

如果您可以一次将所有500个存储在内存中，那么将它们存储在字典中会很有用。然后，您可以找到所有日期的交集，然后保存子集：

import pandas as pd
from functools import reduce

d = dict((file, pd.read_csv(file)) for file in [your_list_of_files])

date_com = reduce(lambda l,r: l & r [set(df.Date) for _,df in d.items()])

for file,df in d.items():
    df[df.Date.isin(date_com)].to_csv(f'adjusted_{file}')