我想知道在python 2.7中反转大csv文件(+50000行)的行并重写它的最佳方法,避免出现第一行。
input:
A;B;C
1;2;3
4;5;6
output
A;B;C
4;5;6
1;2;3
我需要知道如何在python 2.7中以有效的方式进行操作。
谢谢你们,
menchopez
使用csv
模块读取csv文件,并使用csv
模块打开输出。现在,您正在将list
作为行使用。
使用next
原样写标题行。现在,第一行已消耗完毕,将其余数据转换为list
以完全读取它,并将writerows
应用于反向列表:
import csv
with open("in.csv") as fr, open("out.csv","wb") as fw:
cr = csv.reader(fr,delimiter=";")
cw = csv.writer(fw,delimiter=";")
cw.writerow(next(cr)) # write title as-is
cw.writerows(reversed(list(cr)))
writerows
是最快的方法,因为它不涉及python循环。
Python 3用户必须改用open("out.csv","w",newline="")
打开输出文件。
如果可以使用外部库,则pandas库适合于大文件:
import pandas as pd
# load the csv and user row 0 as headers
df = pd.read_csv("filepath.csv", header = 0)
# reverse the data
df.iloc[::-1]
如果无法使用外部库:
import csv
with open("filepath.csv") as csvFile:
reader = csv.reader(csvFile)
# get data
data = [row for row in reader]
# get headers and remove from data
headers = data.pop(0)
# reverse the data
data_reversed = data[::-1]
# append the reversed data to the list of headers
output_data = headers.append(data_reversed)
阅读如下:
rows = []
first = True
for row in reader:
if first:
first = False
first_row = row
continue
rows.append(row)
编写如下:
rows.append(first_row)
writer.writerows(rows[::-1])