multiprocessing 相关问题

多处理是在单个计算机系统中使用两个或更多个中央处理单元(CPU)

多处理并行执行。栅格数据处理中池比顺序慢

我正在开发一个Python程序,该程序使用rasterio和multiprocessing.Pool的并行性来处理栅格数据。目标是从基于粒子的大型光栅马赛克中提取多种作物

回答 1 投票 0

如何暂时以“root”身份运行代码?

我想使用Python的multiprocessing.Pool 将多处理导入为 mp 池 = mp.Pool(3) 对于范围内的 i(num_to_run): pool.apply_async(popen_wrapper, args=(i,), 回调=log_result) 但我明白...

回答 1 投票 0

Python(多处理/tqdm) - 如何跟踪多处理函数中 for 循环的进度?

我目前正在尝试跟踪函数的多个实例的进度,每个实例都在函数本身内部进行迭代。我正在使用多处理来启动 s 的多个实例...

回答 1 投票 0

Linux 中多进程计算一个文件的字母表

主程序充当父进程,根据参数指定的进程数使用 fork() 创建子进程。父进程平均分配整个文件大小

回答 1 投票 0

如何在 OMP - C 中将私有数组合并到共享数组?

我正在尝试并行化一个程序,以使用归约来查找局部最大值。但是,我在合并过程中遇到了一个问题:合并后的数组最终少了两个

回答 1 投票 0

使用多处理共享内存时发生冲突

我正在使用多处理的共享内存在任务之间共享 numpy 数组。虽然每个任务最初应该只读取数组,但我很好奇是否也可以写入。我写了以下...

回答 1 投票 0

R stats `aov` 使用所有可用核心而不是仅一个

我正在使用 aov 分析协变量对因变量的影响,以评估通过包含所述协变量可以减少多少变化。 但是,当我运行该函数时,它会自动...

回答 1 投票 0

将大数据传递到子进程时,python 多重处理会引发断言错误

如上所述,在使用 python 标准库多处理或并发.futures 库时,我无法将大型数据帧传递到子进程中。 Python版本:3.11.8 系统:Windows 1...

回答 1 投票 0

Python 多重处理比使用多重处理模块的顺序处理花费的时间明显更多?

我试图通过执行CPU密集型任务来比较Python中多处理模块的效率。 顺序任务: 导入多重处理 导入时间 v1 = [0] * 5000000 v2 = [0] * 5000...

回答 1 投票 0

如何在Python中识别和管理父进程运行时之外的后台守护进程

我想在一台通常24/7运行的Windows机器上每8小时在后台运行一个python脚本B。另外,我还有另一个手动执行的脚本 A,并使用 b 提供的数据...

回答 1 投票 0

python multiprocessing.double 的值原子读写

我正在 python 中使用 multiprocessing.Value 类,我有一个设置值的写入器进程和一个读取值的读取器进程。假设我的编写过程仅以

回答 1 投票 0

Linux 调度程序是否需要在多核中的每个核上执行?

在一个内核上执行的内核调度程序线程是否可以处理不同远程内核的线程/进程的调度,或者每个内核是否有必要拥有自己的内核......

回答 1 投票 0

从我在单独进程中读取的队列中将数据返回到主程序

我正在使用多处理功能计算数据。 “worker”脚本将其结果放入队列中,然后我可以使用以下命令轻松地在主程序中读取该结果: 结果=[] 而不是 Q.empty() 时:

回答 1 投票 0

具有两个单独运行的主要方法的应用程序可以被视为多进程应用程序吗?

我已经使用遵循客户端-服务器架构的套接字在java中实现了一个简单的聊天应用程序,其中客户端和服务器类都有自己的主要方法。这些会不会...

回答 1 投票 0

如何在多个 Python 进程之间共享复杂的 spaCy NLP 模型以最大限度地减少内存使用?

我正在开发一个多处理Python应用程序,其中多个进程需要访问大型的、预加载的spaCy NLP模型(例如en_core_web_lg)。由于该模型是内存密集型的,我想要

回答 1 投票 0

NUMA 感知的 C# 多进程应用程序 [已关闭]

我维护一个 C# 多进程应用程序,它有一个调度程序进程来分配操作,其他 N 个工作进程来执行它们。动作是相互独立的,所以每个worker的进程

回答 1 投票 0

python3多处理SharedMemory无法解决连接现有内存

我想要完成的是首先运行 testb.py 并创建共享内存,然后运行 testc.py 并连接到它。然后关闭 testc.py 并重新运行它并再次连接到共享内存。但我坚持

回答 1 投票 0

使用 --multiprocessing-fork 了解当前进程是否是多处理池的一部分

我需要找到一种方法让 python 进程确定它是否作为多处理池的一部分启动。 我正在使用 dask 来并行计算,使用 dask.distributed.LocalCluster。对于用户体验

回答 1 投票 0

Python 多处理和自动 py 到 exe

我目前正在开发一个随机字符生成器,它使用多重处理来加速该过程。我用 如果 __name__ == "__main__": 以避免整个代码多次运行...

回答 1 投票 0

Python 多处理池不工作键盘中断

运行以下简单的 multiprocessing.Pool 代码时,KeyboardInterrupt 不会停止 python 程序。 代码 将多处理导入为 mp 导入时间 print(f"INIT {__name__}"...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.