joblib 相关问题

Joblib是一组用于在Python中提供轻量级流水线的工具。

joblib并行耗尽内存

我有类似这样的输出=并行(n_jobs = 12,verbose = 10)(延迟(_process_article)(文章,配置)数据中的文章)案例1:在80内核的ubuntu上运行:CPU(s):80 .. 。

回答 1 投票 0

错误在joblib`Parallel`上下文中挑选一个`matlab`对象

我在Python上下文中并行运行了一些Matlab代码(我知道,但这就是正在发生的事情),而且我遇到了涉及matlab.double的导入错误。相同的代码在......中工作正常

回答 1 投票 8

使用Joblib + Dask将许多子进程派生到HPC上的许多不同节点

我正在尝试运行一个python程序,它曾经执行过很多(数千个)令人尴尬的并行进程,这些进程是以对其他软件的子进程调用的形式进行的。我正在运行这个......

回答 1 投票 1

joblib的一个最小示例在所有4个核心上运行,另一个仅在一个核心上运行。固定?

我试图在我的机器学习算法实现中使用一些并行计算,使用joblib,尤其是本页使用的技术。以下示例适合我......

回答 1 投票 0

运行joblib.Parallel(mlxtend)不会在cloud-ml中扩展

我正在使用mlxtend库运行一个作业。特别是使用joblib.Parallel源并行化的sequential_feature_selector。当我在我的本地计算机上运行它时,它使用了所有...

回答 1 投票 0

Python scikit学习n_jobs

这不是一个真正的问题,但我想了解:在Win7 4核8 GB系统上运行来自Anaconda distrib的sklearn,在200.000个样本* 200值表上安装KMeans模型。用n -...运行

回答 1 投票 2

为什么多处理不使用Google Compute Engine中的100%CPU?

我必须并行运行一些代码,虽然它在我的本地计算机中使用了100%的CPU,但它不像Google Compute Engine那样工作。我正在使用带有24vCPU和22Gb的计算引擎......

回答 1 投票 1

来自joblib的中间结果

我正在尝试学习joblib模块作为python中内置多处理模块的替代方案。我习惯使用multiprocessing.imap在iterable上运行一个函数并返回...

回答 3 投票 2

在python中使用joblib进行并行处理时,对象属性似乎没有变化

我有以下代码适用于一个进程,但不适用于多个进程。没有错误消息,但类属性似乎没有保存,我不知道为什么或如何解决它。 ...

回答 1 投票 0

为什么我不能通过更多流程获得并行化收益?

我有这个简单的代码,只需在一些矩阵乘法def serial_decohere(K,rho,n)之后计算矩阵之和:“”“:param K:大小为2 ^ n乘2 ^ n的颠簸矩阵列表:param rho:一个 ...

回答 1 投票 1

pymongo - 执行并行查询

这里是我想要并行化的伪代码,但不知道从哪里开始pymongo import MongoClient client = MongoClient('localhost',27017)db = client ['myDB'] collection = db ....

回答 1 投票 3

如何使用joblib并行化Selenium抓取任务? (一个非工作的例子)

我的任务需要从印度2011年人口普查中提取数据。我正在使用Selenium并有一个工作脚本(下面有特色),但我正在尝试使用joblib库和Parallel to ...

回答 1 投票 0

调查joblib减速

我正在尝试使用joblib并行创建自定义随机森林实现列表。任务是令人尴尬的平行,所以我假设加速不应该太辛苦与joblib。这里'...

回答 1 投票 0

这个joblib是什么并行语法呢?这么多括号

Scikit-learn经常使用joblib来并行调用Parallel(n_jobs = n_jobs)(在iterable中为param_to_function延迟(函数)(param_to_function))。这个有用的问题和答案......

回答 1 投票 1

使用joblib的python简单并行计算

我从joblib教程中获取了示例。以下是我的代码的样子:来自joblib导入的数学导入sqrt并行,延迟导入多处理测试=并行(n_jobs = 2)(延迟(sqrt)(i ** 2)...

回答 2 投票 -1

错误或功能?无法在python脚本中执行两个连续的多处理步骤

我有两个连续的函数来处理大型列表。我一个接一个地调用,使用joblib Parallel,延迟,试图单独提高两个函数的处理速度。 ...

回答 2 投票 2

在unittest期间全局禁用joblib.memory缓存

我使用joblib.Memory模块来缓存几个模块中的一些函数。缓存在模块和类中分别初始化。 Module1:memory = Memory(location ='/ cache /')@memory ....

回答 1 投票 0

最新问题
© www.soinside.com 2019 - 2025. All rights reserved.