我正在尝试使用大约85,000条推文的大型语料库,我试图将其与电视广告中的对话进行比较。但是,由于我的语料库的大小,我无法处理余弦相似性度量而没有得到“错误:无法分配大小为n的向量”消息(在我的情况下为26 GB)。
我已经在具有大量内存的服务器上运行R 64位。我也尝试在内存最多的服务器上使用AWS(244 GB),但无济于事(同样的错误)。
有没有办法使用像fread这样的包来解决这个内存限制,或者我只是想发明一种方法来分解我的数据?非常感谢您的帮助,我附上了以下代码:
x <- NULL
y <- NULL
num <- NULL
z <- NULL
ad <- NULL
for (i in 1:nrow(ad.corp$documents)){
num <- i
ad <- paste("ad.num",num,sep="_")
x <- subset(ad.corp, ad.corp$documents$num== yoad)
z <- x + corp.all
z$documents$texts <- as.character(z$documents$texts)
PolAdsDfm <- dfm(z, ignoredFeatures = stopwords("english"), groups = "num",stem=TRUE, verbose=TRUE, removeTwitter=TRUE)
PolAdsDfm <- tfidf(PolAdsDfm)
y <- similarity(PolAdsDfm, ad, margin="documents",n=20, method = "cosine", normalize = T)
y <- sort(y, decreasing=T)
if (y[1] > .7){assign(paste(ad,x$documents$texts,sep="--"), y)}
else {print(paste(ad,"didn't make the cut", sep="****"))}
}
该错误很可能是由以前版本的quanteda(在2012年1月1日之前的GitHub之前的0.9.1-8之前)将dfm对象强制转换为密集矩阵以调用proxy :: simil()引起的。较新的版本现在适用于稀疏的dfm对象,而不会强制使用method = "correlation"
和method = "cosine"
。 (即将推出更多稀疏方法。)
我无法真正遵循您在代码中所做的事情,但看起来您在作为组聚合的文档之间获得成对相似性。我建议以下工作流程:
tfidf()
给这个dfm加权。y <- textstat_simil(PolAdsDfm, margin = "documents", method = "cosine")
,然后使用as.matrix(y)
将其强制转换为完整的对称矩阵。然后,所有成对文档都在该矩阵中,您可以直接从该对象中选择大于0.7的阈值。
请注意,不需要使用method = "cosine"
对术语频率进行标准化。在较新版本的quanteda中,normalize
参数无论如何已被删除,因为我认为在计算相似性之前对dfm进行加权是一种更好的工作流程实践,而不是在textstat_simil()
中建立权重。最后说明:我强烈建议不要使用此处的方法访问corpus
对象的内部,因为这些内部可能会更改然后破坏您的代码。例如,使用texts(z)
而不是z$documents$texts
,而使用docvars(ad.corp, "num")
而不是ad.corp$documents$num
。