如何使用Python刮擦多个页面并将数据合并到单个表中？ 我正在尝试从具有多个页面的网站（使用Python）上的目录中刮擦数据，我想将所有页面的结果结合到一个表中。但是，我正在遇到一个i ...

Question

问题： 每个页面的表都被单独打印和保存，但是我想将所有桌子组合到一个表中。具体来说，我想将所有页面的数据串联成一个单个数据帧，然后保存一次。 我尝试了什么： 我尝试在循环内使用df.to_csv（），但是它不断从每个页面中保存表，而不是将它们添加在一起。 我需要帮助： 如何将所有页面的数据组合到一个数据框中，同时按正确的顺序保留每个页面的数据？ 所有页面刮擦后，如何保存组合的数据框架？ 预期结果： 刮擦后，我想拥有一个包含来自所有页面的所有数据的单个CSV文件，而不是为每个页面提供单独的文件或重复表。

要保存到文件，在程序开始时创建一个

df

。

在循环中，使用

list_of_df = []

来收集它们。

Answer 1

list_of_df.append(df)

创建一个新的单个数据框架，您可以导出到CSV。 请注意，此方法有效，但是如果它崩溃，则需要再次开始刮擦所有页面。更好地选择了一种方法，可以将每个刮擦保存到文件（并跳过已经保存刮擦）并在末尾组合。