我用R写。我正在使用future.apply
包在Linux机器上进行CPU并行化。我的代码当前受RAM限制(而CPU内核受限制)。在实现future_lapply()
之前,我加载了所有必要的输入数据。每个流程分支的结构都完全彼此独立。但是,每个进程分支的输入数据都是重复的,因此我必须使用plan()
限制内核数,以便管理使用的RAM数量。
我已经在许多项目上成功使用future.apply()
了大约一年,但是我觉得从一开始我就没有为并行化设计我的代码。我假设我可以使用各种代码设计原则来避免输入数据的这种重复。不幸的是,我很难在这方面找到资源。有人可以指出我的教程或指南吗?
谢谢!
https://www.r-bloggers.com/how-to-go-parallel-in-r-basics-tips/
尝试本教程!还请提供一个可复制的示例,以便可以专门解决您的问题。