清理 CSV 并加载到 mysql 的最佳方法是什么

Question

请告诉我

1. 清理 CSV 并加载到 mysql 的最佳方法是什么

我正在努力将几个不同的 CSV 加载到 mysql 数据库，但 CSV 有一些异常。 注意：使用pandas read_csv加载到df和to_sql加载到mysql

我正在尝试从 csv 中删除所有字符，例如

<$ , " **>

， 使用 pd.read_csv 将数据放入数据框中，并在数据框中尝试执行 df[col].replace('$','').. 对于某些无法找出原因的值不起作用。没有错误，但只是不删除这些字符。

此外，目的是删除这些特殊字符，以便可以使用下面的 SQLalchemy 函数找到准确的数据类型。

for col in df.columns:
df[col]=(df[col].replace('$',''))
df[col]=(df[col].replace(',',''))

为了查找数据类型，我使用 SQL Alchemy，如下所示： pandas to_sql 所有列都作为 nvarchar

Answer 1

对于字符串列，您应该使用 .str 尝试

df[col]=df[col].str.replace('$','')