multiprocessing 相关问题

多处理是在单个计算机系统中使用两个或更多个中央处理单元(CPU)

RISCV多核系统中的线程时序问题

我有 4 个 Rocket RISC-V 内核,每个内核都连接到 4 个相同的加速器。我想做的是使用多线程同时运行所有或部分加速器并进行比较...

回答 1 投票 0

多处理多线程GIL?

所以,几天来我做了很多关于Python上的多处理和多线程的研究,我对很多事情感到非常困惑。很多次我看到有人谈论 GIL 的事情......

回答 2 投票 0

如何使用权重和偏差 wandb 扫描实现多处理以实现最大并行化,特别是计数变量在此设置中如何工作?

我正在尝试使用权重和偏差(W&B)运行超参数扫描,并希望利用多处理来尽可能并行化我的实验。我想确保每个...

回答 1 投票 0

使用 python 进行多处理比不使用时慢

我一直在尝试学习多处理。我想通过编写一个生成随机数列表的小程序来测试我的理解。然后用两种不同的方法来找到 l...

回答 1 投票 0

Python - 多重处理和变量切换到每个调用

我在Python中使用多处理库时遇到了困难,我想在其中使用Pool。 我有示例代码来演示我的问题(实际代码要复杂得多,但对

回答 1 投票 0

在多设备硬件上部署之前测试 jax.pmap

我在单设备笔记本电脑上编码,并且使用 jax.pmap 因为我的代码将在多个 TPU 上运行。我想“假装”拥有多个设备来测试我的代码并尝试不同的...

回答 1 投票 0

为什么子进程没有运行?

下面是一个脚本,反映了大型应用程序的关键部分。概要是: 我正在使用来自 API 的数据,这里是通过迭代整数数组来模拟的。 代码运行...

回答 1 投票 0

从另一个进程停止进程

大家好,我有两个不同的进程同时运行。 我正在尝试停止我命名为loop_b 的其他进程 但我只能设法停止当前进程和另一只母鹿......

回答 1 投票 0

使用多重处理通过 numpy 生成随机数

我想使用多重处理在 Numpy 中生成随机数。使用这个答案,我在这条消息的末尾编写了代码,它似乎有效。因为我链接的答案很旧,...

回答 1 投票 0

使用 joblib 将文件写入一个文件夹

我有一个执行长时间运行然后将结果文件写入输出文件夹的函数。我决定使用 Joblib 中的并行和延迟来并行化该函数。也就是说,每个线程...

回答 1 投票 0

使用多处理时出现“内存不足”错误

我有一个table_data,它是一种列表类型。它存储了 350 万个 sqlalchemy ORM 模型。 现在,对于 table_data 列表中的每个元素,我想预处理这些模型中的一些字段并进行转换...

回答 1 投票 0

使用多重处理来预处理大列表

我有一个table_data,它是一种列表类型。它存储了 350 万个 sqlalchemy ORM 模型。 现在,对于 table_data 列表中的每个元素,我想预处理这些模型中的一些字段并进行转换...

回答 1 投票 0


进程间通信时队列相对于管道有什么优势?

使用 2 个队列而不是管道在进程之间进行通信有什么优点(如果有的话)? 我计划使用多处理 python 模块。

回答 2 投票 0

多处理冗余打印

这是我第一次尝试使用 Python 多处理库进行多处理。代码的简单版本如下所示 - 将多处理导入为 mp 从数据类导入数据类 来自

回答 1 投票 0

如何在不丢失已使用 python 多处理计算结果的情况下中断 Pool.map?

我想使用 Python 多处理模块中的 Pool.map() 运行许多可以中断的函数(例如使用 ctrl+C )。 我找不到一种方法可以做到这一点并保留

回答 1 投票 0

Python 多线程:如何在已存在的工作对象之间共享参数队列?

我有 5 个工作线程(“处理器”),应该使用特定方法(process())处理 100 个参数(可能在某种队列中?)。我想要 5 个“处理器”...

回答 1 投票 0

具有多处理功能的冗余打印(或过程?)

这是我第一次尝试使用 Python 多处理库进行多处理。代码的简单版本如下所示 - 将多处理导入为 mp 从数据类导入数据类 来自

回答 1 投票 0

Python 多处理 - 共享大型数据集

我正在尝试加速受 CPU 限制的 Python 脚本(在 Windows11 上)。 Python 中的威胁似乎无法在不同的 cpu(核心)上运行,因此我唯一的选择是多处理。 我有一本大词典...

回答 1 投票 0

多处理管理器无法 pickle <class 'cv2.Mat'>

我制作了一个多进程程序来分析来自相机的图像。第一个进程不断地从摄像头读取图像,第二个进程分析该图像,第三个进程包含一个用于

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.