python-multiprocessing 相关问题

multiprocessing是一个使用类似于python编程语言中的线程模块的API支持产生进程的包。

如何在Python中识别和管理父进程运行时之外的后台守护进程

我想在一台通常24/7运行的Windows机器上每8小时在后台运行一个python脚本B。另外，我还有另一个手动执行的脚本 A，并使用 b 提供的数据...

python multiprocessing python-multiprocessing background-process

回答 1 投票 0

python multiprocessing.double 的值原子读写

我正在 python 中使用 multiprocessing.Value 类，我有一个设置值的写入器进程和一个读取值的读取器进程。假设我的编写过程仅以

python multiprocessing python-multiprocessing

回答 1 投票 0

为什么 Windows 和 Mac 上的多重处理比单处理器花费的时间更长？

据我所知，如果将大型任务划分为多个进程，完成任务所需的时间就会减少，但在我的代码中并没有发生这种情况。来自多处理导入过程导入时间我...

python python-multiprocessing python-multithreading

回答 1 投票 0

为什么多处理器比单处理器花费更长的时间？

据我所知，如果将大型任务划分为多个进程，完成任务所需的时间就会减少，但在我的代码中并没有发生这种情况。来自多处理导入过程导入时间我...

python python-multiprocessing python-multithreading

回答 1 投票 0

如何在多个 Python 进程之间共享复杂的 spaCy NLP 模型以最大限度地减少内存使用？

我正在开发一个多处理Python应用程序，其中多个进程需要访问大型的、预加载的spaCy NLP模型（例如en_core_web_lg）。由于该模型是内存密集型的，我想要

nlp multiprocessing python-multiprocessing spacy

回答 1 投票 0

我的多进程多线程Python程序永远不会停止

我有6个进程，每个进程都是消费者，1个进程是生产者。生产者将读取多进程队列的文件路径。消费者将有两个线程：一个用于读取...

python python-multiprocessing python-multithreading

回答 1 投票 0

多 CPU、GPU 上的 Python 多处理

我有8个GPU，64个CPU核心（multiprocessing.cpu_count()=64）我正在尝试使用深度学习模型推断多个视频文件。我希望在 8 个 GP 中的每一个上处理一些文件...

python pytorch python-multiprocessing multiprocess cpu-cores

回答 1 投票 0

python3多处理SharedMemory无法解决连接现有内存

我想要完成的是首先运行 testb.py 并创建共享内存，然后运行 testc.py 并连接到它。然后关闭 testc.py 并重新运行它并再次连接到共享内存。但我坚持

python multiprocessing python-multiprocessing shared-memory

回答 1 投票 0

批处理多处理

我喜欢进行多重处理来加速程序。我的输入文件包含 3000 万行。我希望并行运行 10 个进程。但我的文件非常大（包含 3000 万行）。我是...

python python-multiprocessing batch-processing

回答 1 投票 0

Python 多处理池不工作键盘中断

运行以下简单的 multiprocessing.Pool 代码时，KeyboardInterrupt 不会停止 python 程序。代码将多处理导入为 mp 导入时间 print(f"INIT {__name__}"...

python multiprocessing python-multiprocessing

回答 1 投票 0

支持 Tensorflow 2 在单 GPU 上进行多处理推理

我有一组图像需要进行推理。我想做的是生成 4 个工作线程，每个工作线程对 GPU 内存有 1/4 的访问权限。即使我限制内存，我也会遇到 OOM...

python tensorflow multiprocessing tensorflow2.0 python-multiprocessing

回答 1 投票 0

如何使用类似递归的操作在 PySpark 中计算累积衰减和？

我有一个 PySpark DataFrame，如下所示： ID 编号2 id3 h_生成衰减因子 h_总计 1 164 1 149.8092121 1 164 2 1417.298433 0.944908987 1558.854504 1 164 3 3833.995761 0.886920437 5216.

python apache-spark pyspark python-multiprocessing aws-glue

回答 1 投票 0

在 pytorch 中使用多处理进行训练

我想尝试用任意尺寸的图像来细化模型。写这样的东西并不难 ... y_pred = torch.cat([imgs 中的 im 的模型(im)]) 损失 = loss_fn(y_pred, y) ... 但即使简单

python deep-learning pytorch python-multiprocessing dataparallel

回答 1 投票 0

使用 pytest 进行多处理时正确拆卸进程

我正在开发一个包，其中包括带有相应客户端的服务器。我想我可以节省大量的精力来模拟所有的交互，只需要编写一些测试用例来测试......

python pytest client-server python-multiprocessing python-3.11

回答 1 投票 0

如何将模块名称导出到作为进程启动的函数？

我在两个不同的文件中定义了两个函数 myFunc() 和 myOtherFunc()：generic.py 和 no_choice.py，具有两种不同的实现。我将它们导入到 main.py 中，如下所示：主要.py：如果__...

python python-3.x python-multiprocessing python-module

回答 1 投票 0

有关Python锁定的查询

假设我有 N 个进程打开一个 json 文件并像这样写入它 - 将 open(thefile, ‘w’) 作为 jsonfile： json.dump（一些数据，json文件）如果我想锁定这个文件，这样就没有进程读取垃圾

python python-multiprocessing

回答 1 投票 0

无法在 Python 3.5 中子类化多处理队列

我的最终目标是将标准输出从几个子进程重定向到一些队列，并将它们打印在某个地方（也许在一个小GUI中）。第一步是将 Queue 子类化为一个对象，该对象...

python python-3.x multiprocessing python-multiprocessing

回答 1 投票 0

如何判断CloseSpider是否在CrawlerProcess级别引发

我需要在循环中运行我的抓取工具，但如果蜘蛛中发生某些错误，我希望能够引发 CloseSpiderand 以便过滤到循环函数并停止循环。这是我的同事...

python scrapy python-multiprocessing

回答 1 投票 0

限制并发线程多处理数量

我需要将一个函数应用于可迭代的每个元素，并同时运行固定数量的线程（假设为 N），就像 multiprocessing.ThreadPool.map() 所做的那样，但我的函数确实分配...

python multithreading multiprocessing python-multiprocessing

回答 1 投票 0

多处理池停止运行 - Windows 11

以下代码启动 5 个多处理任务。这些任务打印一条消息，然后随机休眠一段时间，然后再次执行此操作。重复 10 次，所以整组任务应该

python multiprocessing resources python-multiprocessing windows-11

回答 1 投票 0

最新问题

© www.soinside.com 2019 - 2024. All rights reserved.