折叠行，其中一些都是NA，其他与一些NA不相交

Question

我有一个简单的数据帧：

ID    Col1    Col2    Col3    Col4
1     NA      NA      NA      NA  
1     5       10      NA      NA
1     NA      NA      15      20
2     NA      NA      NA      NA  
2     25      30      NA      NA
2     NA      NA      35      40 

我想重新格式化它：

ID    Col1    Col2    Col3    Col4
1     5       10      15      20
2     25      30      35      40

（请注意：真实数据集有数千行，值来自生物数据 - NAs不遵循简单模式，除了NAs是不相交的，是的，每个ID正好有3行）。

第一步：摆脱只有NA值的行。

从表面上看，这看起来很简单，但我遇到了一些问题。

complete.cases(DF)返回所有FALSE，所以我不能真正使用它来删除所有NAs的行，如DF[complete.cases(DF),]。这是因为所有行都包含至少一个NA。

由于NAs想要自己传播，因此使用is.na的其他方案也因同样的原因而失败。

第二步：将剩余的两行折叠成一行。

考虑使用像aggregate之类的东西来解决这个问题，但是必须有一个比this更简单的方法，它根本不起作用。

谢谢你的建议。

Answer 1

尝试

library(dplyr)
DF %>% group_by(ID) %>% summarise_each(funs(sum(., na.rm = TRUE))) 

---

编辑：为了解释一个列具有某个NAs的所有ID的情况，我们需要sum_NA()函数，如果所有都是NA则返回NAs

txt <- "ID    Col1    Col2    Col3    Col4
        1     NA      NA      NA      NA
        1     5       10      NA      NA
        1     NA      NA      15      20
        2     NA      NA      NA      NA
        2     NA      30      NA      NA
        2     NA      NA      35      40"
DF <- read.table(text = txt, header = TRUE)

# original code
DF %>% 
  group_by(ID) %>% 
  summarise_each(funs(sum(., na.rm = TRUE)))

# `summarise_each()` is deprecated.
# Use `summarise_all()`, `summarise_at()` or `summarise_if()` instead.
# To map `funs` over all variables, use `summarise_all()`
# A tibble: 2 x 5
     ID  Col1  Col2  Col3  Col4
  <int> <int> <int> <int> <int>
1     1     5    10    15    20
2     2     0    30    35    40

sum_NA <- function(x) {if (all(is.na(x))) x[NA_integer_] else sum(x, na.rm = TRUE)}

DF %>%
  group_by(ID) %>%
  summarise_all(funs(sum_NA))

DF %>%
  group_by(ID) %>%
  summarise_if(is.numeric, funs(sum_NA))

# A tibble: 2 x 5
     ID  Col1  Col2  Col3  Col4
  <int> <int> <int> <int> <int>
1     1     5    10    15    20
2     2    NA    30    35    40

Answer 2

这是一个数据表方法，在列中使用na.omit()，按ID分组。

library(data.table)
setDT(df)[, lapply(.SD, na.omit), by = ID]
#    ID Col1 Col2 Col3 Col4
# 1:  1    5   10   15   20
# 2:  2   25   30   35   40

Answer 3

以下是几次尝试：

aggregate(. ~ ID, data=dat, FUN=na.omit, na.action="na.pass")
#  ID Col1 Col2 Col3 Col4
#1  1    5   10   15   20
#2  2   25   30   35   40

由于aggregate的公式接口默认在进行任何分组之前对整个数据使用na.omit，它将删除dat的每一行，因为它们都包含至少一个NA值。试试吧：nrow(na.omit(dat))返回0。所以在这种情况下，在na.pass中使用aggregate，然后使用na.omit跳过通过的NAs。

或者，不要使用公式接口并指定要手动聚合的列：

aggregate(dat[-1], dat[1], FUN=na.omit )
aggregate(dat[c("Col1","Col2","Col3","Col4")], dat["ID"], FUN=na.omit)
#  ID Col1 Col2 Col3 Col4
#1  1    5   10   15   20
#2  2   25   30   35   40

Answer 4

简单的方法是：

as.data.frame(lapply(myData[,c('Col1','Col2','Col3','Col4')],function(x)[!is.na(x)]))

但如果不是所有列都具有相同数量的非NA值，那么你需要修剪它们，如下所示：

temp  <-  lapply(myData[,c('Col1','Col2','Col3','Col4')],function(x)x[!is.na(x)])
len  <-  min(sapply(temp,length))
as.data.frame(lapply(temp,`[`,seq(len)))