如何在 R 中追加多个文件

Question

我正在尝试读取文件列表并将它们附加到包含所有记录的新文件中。我不打算更改原始文件中的任何内容。我尝试过几种方法。

方法 1： 此方法创建一个新文件，但在每次迭代时都会再次添加以前的文件。因为我正在递归地绑定数据框。

files <- list.files(pattern = "\\.csv$")

  #temparary data frame to load the contents on the current file
  temp_df <- data.frame(ModelName = character(), Object = character(),stringsAsFactors = F)

  #reading each file within the range and append them to create one file
  for (i in 1:length(files)){
    #read the file
    currentFile = read.csv(files[i])

    #Append the current file
    temp_df = rbind(temp_df, currentFile)    
  }

  #writing the appended file  
  write.csv(temp_df,"Models_appended.csv",row.names = F,quote = F)

方法2：我从Rbloggers得到这个方法。此方法不会写入新文件，而是继续修改原始文件。

multmerge = function(){
  filenames= list.files(pattern = "\\.csv$")
  datalist = lapply(filenames, function(x){read.csv(file=x,header=T)})
  Reduce(function(x,y) {merge(x,y)}, temp_df)

}

有人可以建议我如何实现我的目标吗？

Answer 1

它可能看起来像这样：

files <- list.files(pattern = "\\.csv$")

DF <-  read.csv(files[1])

#reading each file within the range and append them to create one file
for (f in files[-1]){
  df <- read.csv(f)      # read the file
  DF <- rbind(DF, df)    # append the current file
}
#writing the appended file  
write.csv(DF, "Models_appended.csv", row.names=FALSE, quote=FALSE)

或简称：

files <- list.files(pattern = "\\.csv$")

DF <-  read.csv(files[1])
for (f in files[-1]) DF <- rbind(DF, read.csv(f))   
write.csv(DF, "Models_appended.csv", row.names=FALSE, quote=FALSE)

Answer 2

您可以使用它将所有内容加载到一个数据集中。

dataset <- do.call("rbind", lapply(file.list, FUN = function(file) {
  read.table(file, header=TRUE, sep="\t")
}))

然后只需使用

write.csv

保存即可。

Answer 3

或者您可以继续在 R 中使用 shell 命令：

system2("cat", args = "*.csv", stdout = "appendedfiles.csv")

这适用于基于 UNIX 的系统；我不确定你会为 Windows 做什么。

Answer 4

对您的文件名列表尝试此操作：

ListOfFileNames<-list.files(pattern=".txt")
outFile <- file("all.txt", "w")
for (i in ListOfFileNames){
    x <- readLines(i)
    writeLines(x, outFile) # in the link the 1st and last line are skipped
}
close(outFile)

来源：https://r.789695.n4.nabble.com/R-Read-multiple-text-files-and-combine-into-single-file-td817344.html

Answer 5

现在有一个简单的答案

rbind_list()

！

例如：

dataFiles = map(Sys.glob("*.csv"), read.csv) 

或者您将文件读入列表中

dat = rbind_list(dataFiles)

和

dat

将是您正在寻找的！

Answer 6

如果使用 Windows，则可以使用命令提示符轻松完成此操作。

开始 -> 运行 -> 输入“cmd”并按回车键

cd <path to folder>
copy /b *.txt <outputname>.txt

具体例子：

cd C:\User\danny\docs\folder_with_txt files
copy /b *.txt concatenated.txt

请注意，如果您要更改驱动器盘符，请在 cd 之前执行此操作

D:\> c:
C:\> cd C:\User\danny\docs\folder_with_txt files
copy /b *.txt concatenated.txt

Answer 7

下面的

concatenate_files()

函数会将一组文件连接到一个文件。输入文件的类型（例如 csv、fasta 等）并不重要。此外，该函数在将整个输入文件附加到输出之前不会将其加载到内存中。相反，小块数据被加载到内存中，一次加载一个块。块大小由

n

参数控制（默认为 50k 字节）。

concatenate_files <- function(files, out=stdout(), n=50000L)
{
    stopifnot(is.character(files))
    if (is.character(out)) {
        out <- file(out, "wb")
        on.exit(close(out))
    }
    for (f in files) {
        con <- file(f, "rb")
        while (TRUE) {
            bytes <- readBin(con, what=raw(), n=n)
            if (length(bytes) == 0L)
                break
            writeBin(bytes, out)
        }
        close(con)
    }
}