我有一些Particulate Matter传感器和CSV，时间序列如下：
传感器A：
date value
date
2017-11-30 00:00:00 30/11/17 0.00 49
2017-11-30 00:02:00 30/11/17 0.02 51
2017-11-30 00:03:00 30/11/17 0.03 54
2017-11-30 00:05:00 30/11/17 0.05 57
2017-11-30 00:07:00 30/11/17 0.07 53
2017-11-30 00:08:00 30/11/17 0.08 55
2017-11-30 00:10:00 30/11/17 0.10 55
2017-11-30 00:12:00 30/11/17 0.12 58
2017-11-30 00:13:00 30/11/17 0.13 57
2017-11-30 00:15:00 30/11/17 0.15 58
....
2018-02-06 09:30:00 6/2/18 9.30 33
2018-02-06 09:32:00 6/2/18 9.32 31
2018-02-06 09:33:00 6/2/18 9.33 34
2018-02-06 09:35:00 6/2/18 9.35 32
2018-02-06 09:37:00 6/2/18 9.37 33
2018-02-06 09:38:00 6/2/18 9.38 30
我将日期设置为索引：
df.index = pd.to_datetime(df['date'], format='%d/%m/%y %H.%M')
我想在相似的时间窗口中关联来自同一传感器和来自不同传感器的数据之间的不同时间窗口。我希望知道在一天中的某些部分是否有相同的增加/减少行为。设置“日期索引”后，我能够从传感器A每天从上午9点到上午10点得到“所有PM值”
df.between_time('9:00','10:00')
1）问题1：如何检查相同传感器的相关性，但不同的天数：我在两个DataFrame中从两天过滤数据9 / 10am，但并不总是在同一分钟内完全采集。我可能有这样的情况：
01-01-2018 (df01 - I removed data column)
2018-01-01 09:05:00 11
2018-01-01 09:07:00 11
2018-01-01 09:09:00 10
....
02-01-2018 (df02)
2018-02-01 09:05:00 67
2018-02-01 09:07:00 68
2018-02-01 09:08:00 67
....
我应该重命名数据列吗？我实际上关心的是，01/01/2018的第三个值将与第二个窗口的第三个值相关联。
df01.corr(df02)
回报
ValueError: The truth value of a DataFrame is ambiguous. Use a.empty, a.bool(), a.item(), a.any() or a.all()
2）问题2：不同传感器之间的关联在这种情况下，我有2个CVS文件，其PM值来自两个传感器。问题1我想关联他们的相同时间窗口。即使在这种情况下，我预计数据之间会出现一些“休闲滞后”，但分钟之间的误差很好，我想只检查“正确位置”的值。例：
Sensor A:
date value
date
2017-11-30 00:00:00 30/11/17 0.00 49
2017-11-30 00:02:00 30/11/17 0.02 51
2017-11-30 00:03:00 30/11/17 0.03 54
2017-11-30 00:05:00 30/11/17 0.05 57
Sensor B:
date value
date
2017-11-30 00:00:00 30/11/17 0.00 1
2017-11-30 00:02:00 30/11/17 0.02 40
2017-11-30 00:04:00 30/11/17 0.03 11
2017-11-30 00:05:00 30/11/17 0.05 57
AxB
date valueA valueB
date
2017-11-30 00:00:00 30/11/17 0.00 49 1
2017-11-30 00:02:00 30/11/17 0.02 51 40
2017-11-30 00:03:00 30/11/17 0.03 54 11
2017-11-30 00:05:00 30/11/17 0.05 57 57
先感谢您
我会尽力解决你的两个问题。这看起来像pd.merge_asof()的工作，它在最近匹配的键上合并，而不是仅在精确键上合并。
df1
date value
30/11/17 0.00 51
30/11/17 0.02 53
30/11/17 0.05 65
30/11/17 0.08 58
df2
date value
30/11/17 0.01 61
30/11/17 0.02 63
30/11/17 0.04 65
30/11/17 0.07 68
df1.date = pd.to_datetime(df1.date, format='%d/%m/%y %H.%M')
df2.date = pd.to_datetime(df2.date, format='%d/%m/%y %H.%M')
df1.set_index('date', inplace=True)
df2.set_index('date', inplace=True)
df1
value
date
2017-11-30 00:00:00 51
2017-11-30 00:02:00 53
2017-11-30 00:05:00 65
2017-11-30 00:08:00 58
df2
value
date
2017-11-30 00:01:00 61
2017-11-30 00:02:00 63
2017-11-30 00:04:00 65
2017-11-30 00:07:00 68
merged = pd.merge_asof(df1, df2, left_index=True, right_index=True, direction='nearest')
merged
value_x value_y
date
2017-11-30 00:00:00 51 61
2017-11-30 00:02:00 53 63
2017-11-30 00:05:00 65 65
2017-11-30 00:08:00 58 68
请注意，df.corr()不接受数据作为参数，因此df1.corr(df2)不起作用。 corr方法计算您调用它的DataFrame中的列的成对相关性（docs）。
merged.corr()
value_x value_y
value_x 1.000000 0.612873
value_y 0.612873 1.000000
pd.merge_asof的上述用法保持了df1的指数; df1中的每一行在df2中获得其最接近的匹配，并且替换，因此如果df2的行数少于df1，则merge_asof的结果将包含来自df2的重复值。结果将与df1具有相同的行数。
你提到过你真的只关心按相对位置比较行，例如，比较df1的第3个值和df2的第3个值。您可以简单地忽略时间索引，而不是使用merge_asof，一旦您使用它来获取感兴趣的时间段，并使用df.values访问底层的numpy数组：
# Get a 2D array of shape (4, 1)
df1.values
array([[51],
[53],
[65],
[58]])
# Get a 1D array of shape (4,)
df1.values.flatten()
array([51, 53, 65, 58])
# numpy correlation matrix
pd.np.corrcoef(df1.values.flatten(), df2.values.flatten())
array([[1. , 0.61287265],
[0.61287265, 1. ]])