从pandas.read_sql读取时编码impala数据

Question

当我使用pyhive库和pandas.read_sql读取impala数据时，我收到错误UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe2 in position 3071: unexpected end of data

此错误的原因可能是数据可能已损坏。

如何将其更改为不同的编码，以便我可以在数据帧中获取数据？

Answer 1

解决方法如下：

1）我们通过Pyhive游标按块检索数据块。

2）预处理：编码/解码。

3）附加到最终的数据帧。

# cursor to the database.
cursor = hive.Connection(host=HOST, port=PORT, username=USERNAME).cursor()

# execute the query on the database side.
cursor.execute("SELECT id, message FROM table")

# result dataframe, empty for now.
df = pd.DataFrame(columns=['id', 'message'])

while True:
    # fetch 10k rows (as tuples).
    rows = cursor.fetchmany(10000)

    # if no more rows to retrieve, we stop.
    if not rows:
        break

    # Preprocessing: do encoding/decoding here
    rows = [(id, message.decode('utf-8', 'ignore')) for id, message in rows]

    # put result in a temporary dataframe
    df_tmp = pd.DataFrame(rows, columns=['id', 'message'])

    # merge the temporary dataframe to the original df
    df = pd.concat([df, df_tmp])

df = ...