使用R和OS-X的XGBoost并行执行失败

问题描述 投票:0回答:1

不能让xgboost与R 3.5.1和OS X 10.12.6并行工作。我跟着这个instructions。在编译C代码时似乎是openMP OK,但是在R中编译时,找不到-fopenmp选项并且并行执行不起作用。

Makevars

cat ~/.R/Makevars 
CC=gcc-7
CXX=g++-7
CXX1X=g++-7
CXX11=g++-7
CXX14=g++-7
CXX17=g++-7

SHLIB_OPENMP_CFLAGS=-fopenmp
SHLIB_OPENMP_CXXFLAGS=-fopenmp
SHLIB_OPENMP_FCFLAGS=-fopenmp
SHLIB_OPENMP_FFLAGS=-fopenmp

我也试过gcc-8而没有成功。

实验:

  • 编译C代码:xgboost$ make -j4 =>似乎工作,包括-fopenmp编译器选项:g++-7 -c -DDMLC_LOG_CUSTOMIZE=1 -std=c++11 -Wall -Wno-unknown-pragmas -Iinclude -Idmlc-core/include -Irabit/include -I/include -O3 -funroll-loops -msse2 -fPIC -fopenmp src/common/common.cc -o build/common/common.o
  • 来自:R-package$ R CMD INSTALL . => checking whether OpenMP will work in a package... nog++-7 -std=gnu++11 -I"/usr/local/Cellar/r/3.5.1/lib/R/include" -DNDEBUG -I../..//include -I../..//dmlc-core/include -I../..//rabit/include -I../../ -DXGBOOST_STRICT_R_MODE=1 -DDMLC_LOG_BEFORE_THROW=0 -DDMLC_ENABLE_STD_THREAD=1 -DDMLC_DISABLE_STDIN=1 -DDMLC_LOG_CUSTOMIZE=1 -DXGBOOST_CUSTOMIZE_LOGGER=1 -DRABIT_CUSTOMIZE_MSG_ -DRABIT_STRICT_CXX98_ -I/usr/local/opt/gettext/include -I/usr/local/opt/readline/include -I/usr/local/include -fPIC -g -O2 -c xgboost_R.cc -o xgboost_R.o

似乎R没有考虑Makevars选项中的SHLIB_OPENMP_*。任何的想法?

r gcc parallel-processing openmp xgboost
1个回答
0
投票

感谢hcho3(https://github.com/dmlc/xgboost/issues/2503

mkdir build
cd build
cmake .. -DCMAKE_C_COMPILER=gcc-7 -DCMAKE_CXX_COMPILER=g++-7 -DR_LIB=ON
make
make install

最后一次make install可能会失败。如果发生这种情况,请运行

# still inside build/
cd R-package
mv src/libxgboost.dylib src/xgboost.so # in my case 'mv src/xgboost.dylib src/xgboost.so'
R CMD INSTALL .

他的解释:到目前为止,我在修改Makevars方面没有太大的成功,因为它被R-package中的configure脚本覆盖了。当谈到应用自定义构建选项时,IMO更容易使用CMake,它将在R包中生成配置和其他构建文件(因此R-package目录在构建时生成/)只有我见过的漏洞到目前为止与CMake一起生成名为libxgboost.dylib的共享库,而R期望xgboost.so

© www.soinside.com 2019 - 2024. All rights reserved.