multiprocessing 相关问题

多处理是在单个计算机系统中使用两个或更多个中央处理单元(CPU)

将大数据传递到子进程时,python 多重处理会引发断言错误

如上所述,在使用 python 标准库多处理或并发.futures 库时,我无法将大型数据帧传递到子进程中。 Python版本:3.11.8 系统:Windows 1...

回答 1 投票 0

Python 多重处理比使用多重处理模块的顺序处理花费的时间明显更多?

我试图通过执行CPU密集型任务来比较Python中多处理模块的效率。 顺序任务: 导入多重处理 导入时间 v1 = [0] * 5000000 v2 = [0] * 5000...

回答 1 投票 0

如何在Python中识别和管理父进程运行时之外的后台守护进程

我想在一台通常24/7运行的Windows机器上每8小时在后台运行一个python脚本B。另外,我还有另一个手动执行的脚本 A,并使用 b 提供的数据...

回答 1 投票 0

python multiprocessing.double 的值原子读写

我正在 python 中使用 multiprocessing.Value 类,我有一个设置值的写入器进程和一个读取值的读取器进程。假设我的编写过程仅以

回答 1 投票 0

Linux 调度程序是否需要在多核中的每个核上执行?

在一个内核上执行的内核调度程序线程是否可以处理不同远程内核的线程/进程的调度,或者每个内核是否有必要拥有自己的内核......

回答 1 投票 0

从我在单独进程中读取的队列中将数据返回到主程序

我正在使用多处理功能计算数据。 “worker”脚本将其结果放入队列中,然后我可以使用以下命令轻松地在主程序中读取该结果: 结果=[] 而不是 Q.empty() 时:

回答 1 投票 0

具有两个单独运行的主要方法的应用程序可以被视为多进程应用程序吗?

我已经使用遵循客户端-服务器架构的套接字在java中实现了一个简单的聊天应用程序,其中客户端和服务器类都有自己的主要方法。这些会不会...

回答 1 投票 0

如何在多个 Python 进程之间共享复杂的 spaCy NLP 模型以最大限度地减少内存使用?

我正在开发一个多处理Python应用程序,其中多个进程需要访问大型的、预加载的spaCy NLP模型(例如en_core_web_lg)。由于该模型是内存密集型的,我想要

回答 1 投票 0

NUMA 感知的 C# 多进程应用程序 [已关闭]

我维护一个 C# 多进程应用程序,它有一个调度程序进程来分配操作,其他 N 个工作进程来执行它们。动作是相互独立的,所以每个worker的进程

回答 1 投票 0

python3多处理SharedMemory无法解决连接现有内存

我想要完成的是首先运行 testb.py 并创建共享内存,然后运行 testc.py 并连接到它。然后关闭 testc.py 并重新运行它并再次连接到共享内存。但我坚持

回答 1 投票 0

使用 --multiprocessing-fork 了解当前进程是否是多处理池的一部分

我需要找到一种方法让 python 进程确定它是否作为多处理池的一部分启动。 我正在使用 dask 来并行计算,使用 dask.distributed.LocalCluster。对于用户体验

回答 1 投票 0

Python 多处理和自动 py 到 exe

我目前正在开发一个随机字符生成器,它使用多重处理来加速该过程。我用 如果 __name__ == "__main__": 以避免整个代码多次运行...

回答 1 投票 0

Python 多处理池不工作键盘中断

运行以下简单的 multiprocessing.Pool 代码时,KeyboardInterrupt 不会停止 python 程序。 代码 将多处理导入为 mp 导入时间 print(f"INIT {__name__}"...

回答 1 投票 0

支持 Tensorflow 2 在单 GPU 上进行多处理推理

我有一组图像需要进行推理。我想做的是生成 4 个工作线程,每个工作线程对 GPU 内存有 1/4 的访问权限。即使我限制内存,我也会遇到 OOM...

回答 1 投票 0

使用for循环读取多处理缺失的可迭代对象

抱歉,如果我的措辞错误,下面是我的脚本,我试图找出为什么当我查看存档文件(我创建的)时,当要打开/读取的文件有 10000 时,我只看到 9874 行我猜...

回答 1 投票 0

如何在Python多处理映射中拥有不可变的共享对象

我怎样才能让我的所有工作进程共享同一个对象,并且它们都不会发生变化?例如,编写计算参数 vec 点积的函数的最简洁方法是什么...

回答 1 投票 0

Prometheus 如何使用 start_http_server 在多进程应用程序中公开指标

如何在多进程应用程序中使用 start_http_server 公开指标 我在互联网上找到了很多gunicorn的例子,但我想使用start_http_server 我应该如何处理下面的代码才能使其正常工作...

回答 1 投票 0

无法在类中pickle sqlAlchemy引擎

我想在我的自定义类中将多处理模块与 sqlAlchemy 一起使用。 这是代码: 从 sqlalchemy 导入 create_engine 引擎 = create_engine(f'mysql+pymysql://a:b@localhost:3306/',

回答 1 投票 0

使用Python通过多处理在各种处理器上执行程序

我想同时在不同的处理器上运行不同的可执行文件,所以我从这里举了例子: 有没有办法使用 python 将不同的作业(进程)分配给 Linux 中的特定核心...

回答 1 投票 0

无法使用 pickle 序列化使用 make_dataclass 生成的数据类

在我的代码中,我使用 make_dataclass 函数生成运行时类。 问题是此类数据类无法使用 pickle 进行序列化,如下面的代码片段所示。 是

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.