joblib 相关问题

Joblib是一组用于在Python中提供轻量级流水线的工具。

如何在joblib中使用多处理锁?

我想使用后端多处理或 loky 在 joblib 中使用锁。使用标准库的多处理似乎很简单,但使用 joblib 则不然:它抱怨锁是......

回答 1 投票 0

错误,TensorSliceReader 构造函数不成功:无法找到 ram 解封文件的任何匹配文件

我遇到了这个错误,我无法取消我的 jupyter 笔记本上的文件: 导入操作系统 进口泡菜 导入作业库 将 pandas 导入为 pd 从 sklearn.preprocessing 导入 MinMaxScaler 文件名 = o...

回答 5 投票 0

并行运行函数并查看其进度

我正在使用 joblib 在四个核心上并行运行四个进程。我想在不同的线路上分别查看四个进程的进度。 然而,我看到的是进展......

回答 1 投票 0

导入错误:无法从“joblib”导入名称“内存”

我收到的错误代码为: ImportError:无法从“joblib”导入名称“Memory” 安装一些新软件包后会发生这种情况,可能是tensorflow-intel。如何解决这个问题或者我有哪些版本...

回答 1 投票 0

Pyinstaller 创建的 exe 文件无法使用 joblib 加载决策树模型

我使用以下命令创建了大型 python 脚本的 exe 文件 - pyinstaller gui_final.py --onefile --hidden-import=sklearn --hidden-import=ipaddress --hidden-import=PIL --hidden-import=

回答 2 投票 0

使用 joblib 和 skimage 进行多进程:PicklingError:无法腌制任务以将其发送给工作人员

我正在尝试并行化通过栅格成本表面查找最小成本路径的任务,但我不断遇到相同的 PicklingError:无法腌制任务以将其发送给工作人员。 ...

回答 1 投票 0

joblib.load 和 pickle.load 错误“没有属性‘XGBoostLabelEncoder’”

我正在尝试使用 joblib 和 pickle 加载 XBGClassifier 模型。 使用 joblib load_model = joblib.load('trained_model.sav') 时出现以下错误: AttributeError: module 'xgboost.c...

回答 2 投票 0

如何在Python joblib中写入共享变量

以下代码并行化了一个for循环。 将网络x导入为nx; 将 numpy 导入为 np; from joblib import 并行,延迟; 导入多重处理; def core_func(repeat_index, G, numpy_arrary_2D...

回答 3 投票 0

将类移入模块并从 joblib 加载实例

我在名为diseaseTree.py 的文件中定义了一个名为DiseaseTree 的类。我已经使用这个类有一段时间了。在不同的工作流程中,我生成了此类的实例,并写入

回答 1 投票 0

通过密集数组转换步骤加载管道

我使用 joblib 训练并保存了以下模型: def to_dense(x): 返回 np.asarray(x.todense()) to_dense_array = FunctionTransformer(to_dense,accept_sparse = True) 模型 = make_pipeline(...

回答 1 投票 0

运行 sklearn GridSearchCV 时无法将任务发送给工作人员

我正在使用 GridSearchCV 使用以下代码在不同模型上运行 GridSearchCV: def Algorithm_Pipeline(X_train_data, X_test_data, y_train_data, y_test_data, 型号,

回答 1 投票 0

Pandas-Profiling 与 scikit-learn 冲突

当我尝试在我的 jupyter 笔记本中安装 pandas 分析时,我遇到错误: 错误:pip 的依赖解析器当前未考虑所有 已安装的软件包...

回答 1 投票 0

Joblib并行处理在profiling中引入了{内置方法time.sleep}

我正在使用 Joblib 在我的 Python 应用程序中运行并行作业。在分析过程中,我注意到最慢的进程是{内置方法 time.sleep}。有趣的是,当我...

回答 1 投票 0

在 Python 中使用 joblib 并行执行时抑制警告

我正在使用一个生成警告的函数,我真的不需要阅读。问题是我想并行运行该函数,并且这样做时,似乎我无法抑制警告...

回答 2 投票 0

如何为 n_jobs 产生的 scikit-learn 并行进程设置较低的优先级?

当使用 n_jobs 参数并行化 scikit-learn 例程(如 GridSeachCV)时,有没有办法将并行进程设置为低于正常优先级? 通常我想采取最大

回答 1 投票 0

为什么我的 joblib.Parallel 子进程在使用 Loky 后端时永远不会返回到主循环

我正在使用 joblib.Parallel 使用 loky 后端运行任务。 有时,子进程会挂起,并且在完成所有任务后,控制权永远不会返回到主循环。 我在 loggi 看到这个...

回答 1 投票 0

从已完成的多处理任务中检索结果

我需要运行数十个计算密集型 CPU 密集型并行任务。目前我使用 joblib 延迟和并行来执行此操作: resultTuples = 并行(n_jobs=-1,更喜欢=“进程”)(del...

回答 1 投票 0

在多核上从 scikit-learn 运行 LinearRegression() 时出现问题

我想在 5 个核心上运行 sklearn 库中的 LinearRegression()。正如文档所说,除非 n_targets > 1,否则 n_jobs 参数不会导致多重处理,我创建了随机数据...

回答 1 投票 0

如何存储 TfidfVectorizer 以供将来在 scikit-learn 中使用?

我有一个 TfidfVectorizer,它可以对文章集合进行矢量化,然后进行特征选择。 向量化器 = TfidfVectorizer() X_train = vectorizer.fit_transform(语料库) 选择器 = SelectKBest(chi2,...

回答 3 投票 0

使用 joblib 将文件写入一个文件夹

我有一个执行长时间运行然后将结果文件写入输出文件夹的函数。我决定使用 Joblib 中的并行和延迟来并行化该函数。也就是说,每个线程...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.