joblib 相关问题

Joblib是一组用于在Python中提供轻量级流水线的工具。

在jupyter笔记本中使用joblib时不显示打印输出

因此,我正在使用joblib来并行化一些代码,我注意到在jupyter笔记本中使用它时无法打印内容。我尝试在ipython中使用相同的示例,但效果很好...

回答 1 投票 7

使用joblib.Memory在AWS S3中缓存数据

是否有可能在AWS S3中使用joblib.Memory来缓存函数输出,例如将远程链接传递给cachedir参数?例如:s3_url ='https://foo.s3 .... / folder / cache_folder / ...

回答 1 投票 2

为什么python joblib并行处理比单个cpu慢?

我试图理解为什么使用joblib进行并行处理要比单个cpu操作慢?下面是我的代码。从joblib导入并行,延迟的导入多处理导入时间...

回答 1 投票 0

为什么python joblib并行处理的速度较慢,所以raan单CPU?

我试图理解为什么使用joblib进行并行处理要比单个cpu操作慢?下面是我的代码。从joblib导入并行,延迟的导入多处理导入时间...

回答 1 投票 0

python中二维数组运算的有效并行化运算

我正在尝试使用python中的joblib库并行处理二维数组上的操作。这是我从joblib import Parallel获取的代码,延迟导入多处理import numpy as np#...

回答 1 投票 2

当n_jobs> 1时,Joblib看不到cython模块

我无法让joblib看到我正在定义的cython函数,并且不确定原因。这是Google Colab笔记本中的最少代码示例。最小的代码示例:从joblib import Parallel,...

回答 1 投票 0

Multiprocessing Logging-如何在joblib并行中使用loguru

我有一堆Python脚本来运行某些数据科学模型。这需要花费相当长的时间,并且加快速度的唯一方法是使用多处理。为此,我使用了joblib库及其...

回答 1 投票 1

如何使用joblib共享变量

类似于此问题如何在“ joblib” Python库中共享变量我想在joblib中共享变量。但是,我的问题完全不同,我有一个巨大的变量(2-3Gb ...

回答 1 投票 1

如何使用外部模块在Joblib中的线程之间共享变量

我正在尝试修改sklearn源代码。特别是,我正在修改GridSearch源代码,以使评估不同模型配置的单独进程/线程共享一个...

回答 1 投票 1

如何在'joblib'Python库中共享变量

从joblib导入并行,延迟def func(v):temp.append(v)return temp = []并行(n_jobs = 4)(v范围(10)中的v的延迟(func)(v))打印temp I想要使共享内存可变。 ...

回答 2 投票 4

如何在ML中保存特征工程模型

建立模型后,我们保存模型以进行实时预测。但是,如果没有要素工程,保存模型将很简单,例如,说我做了一些卡方运算,Randomforest进行...

回答 1 投票 0

ModuleNotFoundError:没有名为'sklearn.linear_model._base'的模块

我正在尝试加载另存为.joblib文件的模型。我尝试了泡菜,sklearn.externals.joblib和joblib本身。所有相同的错误。下面是我尝试做的一个例子。 clf = joblib ....

回答 1 投票 0

如何实现并行,延迟以使当输出低于阈值时,并行化的for循环停止?

假设我有以下代码:从scipy导入*从joblib导入以mp num_cores = mp.cpu_count()的形式进行多处理并行,延迟的plt def func(x,y)的导入matplotlib.pyplot:...

回答 2 投票 8

函数可以知道它们是否已经在Python(joblib)中进行了多进程处理

我有一个使用多重处理(特别是joblib)的函数来加快使用多个内核的慢速例程的速度。效果很好;那里没有问题。我有一个使用多重处理的测试套件(...

回答 3 投票 15

如果修改了文件夹,如何使用看门狗并在主线程中执行某些操作?

我一直在寻找看门狗,所以我找到了这个很棒的图书馆。如果在文件夹中创建了文件,则需要适合DBSCAN模型。 Joblib用于scikit-learn的DBSCAN实现中,而joblib不用于...]]

回答 1 投票 1

TransformedTargetRegressor保存和加载错误

我正在使用TransformedTargetRegressor定义我的自定义回归器,将其添加到管道中并将模型保存在'joblib'文件中。但是,当我尝试加载模型时,出现错误...

回答 1 投票 0

Joblib中for循环的并行索引的保留轨迹

在Python中,我有一个需要在循环中进行迭代的对象的列表,并为每次迭代输出结果,同时还跟踪要迭代的对象的索引。通常,...

回答 1 投票 0


Joblib内存使用量不断增长

我有以下问题。我的目的是处理一堆文档(将所有单词恢复为正常形式,例如'was'->'be','were'->'be','went'->'go')。这意味着,我需要打开每个...

回答 1 投票 4

使用自定义转换器时如何正确腌制sklearn管道

我正在尝试腌制sklearn机器学习模型,并将其加载到另一个项目中。该模型包装在具有编码,缩放等功能的管道中。当我要使用...

回答 1 投票 4

© www.soinside.com 2019 - 2024. All rights reserved.