joblib 相关问题

Joblib是一组用于在Python中提供轻量级流水线的工具。

joblib 和 multiprocessing 的工作分配如何工作?

我只是想确定在使用 joblib 和 multiprocessing 时 for 循环的划分是如何发生的。我现在正在使用的是: 作业库: 解决方案=并行(n_jobs=16)(延迟(cell_simulation)...

回答 0 投票 0

Sklearn n_jobs 参数不影响使用的内核数

我正在尝试使用以下代码进行特征选择: 从 sklearn.feature_selection 导入 SequentialFeatureSelector 从 sklearn.discriminant_analysis 导入 LinearDiscriminantAnalysis 模...

回答 1 投票 0

如何使用我保存的模型对新数据进行预测?

我做了一个逻辑回归模型来解决基于四个因素的分类问题。我的模型已保存,但现在我正在尝试回忆它并根据新因素做出预测。

回答 0 投票 0

尝试缓存结果时出现Joblib UserWarning

我在尝试使用 joblib 缓存结果时收到以下 UserWarning: 导入 numpy 从临时文件导入 mkdtemp 缓存目录 = mkdtemp() 从 joblib 导入内存 内存=内存(cachedir=cachedir,

回答 5 投票 0

从 Databricks 文件系统加载 joblib/pickle 文件

我有一个问题:我看不到从 spark 之外的 dbfs(数据块文件系统)加载对象(我可以用 spark 加载数据,但不能用 pandas 加载数据)。 我们要加载的对象是 joblib ...

回答 1 投票 0

在 Python 中使用“不可映射”函数并行化循环

我用预定义的步长 dT 在从 0 到 Tmax 的时间间隔上求解数值积分方程。我在 for 循环中这样做: list_of_values = [] 对于范围内的 i (dT,Tmax+dT,dT): 函数_at_t =

回答 0 投票 0

当n_jobs > 1时,Joblib不调用自定义函数。

我有一个带数据的例子。从代码中可以看到,每次调用函数fit_by_idx()都要打印'here',但它没有。当n_jobs=1时一切正常,但如果n_jobs是更多,比joblib......。

回答 1 投票 1

PicklingError: Can't pickle <function mean_root_squared_error_func at 0x7f2efa224e18>: it's not found as __main__.mean_root_squared_error_func.

我为GridSearchCV函数创建了一个自定义评分器: def mean_root_squared_error_func(y_true, y_pred): return np.sqrt(mean_squared_error(y_true, y_pred)) 这就是我所说的...

回答 1 投票 0

通过Python提交SLURM工作的最佳实践

这算是一个一般的最佳实践问题。我有一个Python脚本,它迭代一些参数,然后用这些参数调用另一个脚本 (它基本上是对一些简单的网格搜索 ...

回答 1 投票 0

如何列出一个python类的所有staticmethods?

我有一个类,有点像下面: from joblib import Memory import time def find_static_methods(cls): # 通过类A来实现: def __init__(self, cache_path: str): ...

回答 1 投票 0

如何保存一个占用内存较少的机器学习模型?

我正在训练一个RandomForest分类器,数据集有点大,大约580mb,它需要30多分钟来适应。现在,当我尝试使用joblib保存模型时,保存的模型需要 ...

回答 1 投票 0

FileNotFoundError.[WinError 2]从s3加载模型时,系统无法找到指定的文件。[WinError 2] 系统在从s3加载模型时找不到指定的文件。

我最近用joblib把一个模型保存到了s3中,model_doc是模型对象 import subprocess import joblib save_d2v_to_s3_current_doc2vec_model(model_doc, "doc2vec_model") def ...

回答 1 投票 0

如何使用joblib.Parallel()来并行化一个带有 "continue "的循环?

比方说,我有一个循环,只有在满足某些条件时才会 "输出": output = [] for item in some_list: if condition(item): res = do_something(item) output.append(res) for ...

回答 1 投票 1

属性错误:'int'对象没有属性'low'。

我试图从flask UI中传递一条tweet,并能够预测tweet的类型,如果它是一个捐赠,灾难等。以下是Jupyter笔记本上的工作代码: loaded_model = ...

回答 1 投票 0

我如何使用Python和joblib并行提交多个Spark作业?

如何使用Python的joblib库并行提交多个Spark作业?我还想在每个作业中执行“保存”或“收集”,因此我需要在作业之间重用相同的Spark上下文。

回答 1 投票 0

从sklearn.externals导入joblib时收到导入错误

[从flask导入烧瓶,从flask_restplus导入api,资源,sklearn.externals的字段,烧瓶,请求,jsonify,make_response摘录的跟随翼代码。外部导入joblib导入numpy作为np导入...

回答 1 投票 0

我应该如何处理AWS Lambda实现中的Joblib多重处理?

我在AWS中有一个相对简单的线性回归lambda。每个称为函数的实例的日志都会显示以下内容:/opt/python/sklearn/externals/joblib/_multiprocessing_helpers.py:38:...

回答 1 投票 2

鉴于此模型是较早的腌制模型,我如何使用XGBoost正确加载.pkl模型?

我希望加载模型,但由于使用旧版XGBoost制作的模型而遇到麻烦。我已经去了他们的网站并看了一下,但没有给出明确的方向...

回答 1 投票 0

如何在位级别上确保持久性sklearn模型

我想创建一个持久的scikit-learn模型,稍后通过哈希对其进行引用。使用joblib进行序列化,如果我的数据没有变化,我期望完全(位级)完整性。但是...

回答 1 投票 0

具有多进程和joblib的Python

我需要有关在Python中实现并行方法的帮助。我尝试了多进程库和joblib库,但是不明白如何在我的项目中实现它:while(a> amin和...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.