multiprocessing 相关问题

多处理是在单个计算机系统中使用两个或更多个中央处理单元（CPU）

单线程文件加载和多处理

我有一个大数据文件（几GB到几十GB），我想在python中的多个线程中读取和处理它。我目前的方法是分部分读取文件（假设 100MB）并通过该文件

python multiprocessing python-multiprocessing

回答 1 投票 0

在类方法内运行多重处理

我正在尝试在类方法内运行多重处理。我不明白，在池多处理的映射函数内传递类属性/类方法后出现一些错误。我动了...

python linux multiprocessing

回答 1 投票 0

Dask 数据帧并行运行并按列分区

我有一个包含多个公司和国家/地区数据的数据框，我正在尝试使用函数并行转换这些数据。数据采用这样的格式，但要大得多，并且有更多的信息...

python parallel-processing multiprocessing dask dask-dataframe

回答 1 投票 0

并行运行anthropic api

我成功地与多处理并行运行 OpenAI GPT4o： def llm_query(块): 上下文，查询 = get_prompt_synonyms() 输入1，输出1 = get_example() 响应 = client.chat.

python parallel-processing multiprocessing large-language-model anthropic

回答 1 投票 0

如何在运行的进程之间共享配置的记录器？

我正在尝试构建一个带有记录器的小型 GUI 应用程序，该应用程序在某些时候会对多组数据（最多数百组）进行一些耗时的操作。当然，我想用

python multithreading tkinter logging multiprocessing

回答 1 投票 0

将多处理函数的返回值放入矩阵中

我的实际问题相当长，我相信它可以从多重处理中受益。问题的症结如下：我有一些多处理函数，它接受两个值 (x , y)

python multithreading numpy multiprocessing

回答 2 投票 0

python3.x 多处理循环没有“if __name__ == '__main__':”

我有这个文件（它没有任何有用的工作，仅用于学习）：导入多处理系统 def 父级(numproc=2): 打印（'开始时'）孩子=[] print ('管道之前') （标准...

python python-3.x multiprocessing

回答 3 投票 0

Pytorch Python 分布式多重处理：收集/连接不同长度/大小的张量数组

如果多个 GPU 级别上有不同长度的张量数组，则默认的 all_gather 方法不起作用，因为它要求长度相同。例如，如果您有：如果 GPU == 0： ...

python pytorch multiprocessing concatenation distributed

回答 3 投票 0

Python 多处理队列，剩余项目的块

使用Python中的多处理库运行两个线程，将项目放入子线程的队列中并从父线程获取它们，挂在最后一个项目上。问题是为什么...

python multiprocessing

回答 1 投票 0

Python multiprocessing.pool apply_async 回调函数无法重新排序输出数据

我正在使用 multiprocessing.pool apply_async 函数通过计算机视觉算法处理一些视频数据，当前的策略是加快处理速度，因为该算法没有内存...

python python-3.x multiprocessing python-multiprocessing threadpool

回答 1 投票 0

使用 MESI 协议，写入命中也会使处理器停止运行，对吗？

我正在做一个项目，该项目是在 VHDL 中实现具有某种缓存一致性（我选择 MESI）的双处理器系统。我只想确认一件事：共享 c 上的写入命中...

caching architecture multiprocessing vhdl mesi

回答 1 投票 0

如何向不同的站点发送太多请求并获得响应？

我如何向不同的网站发送大量请求，我有一个网站数据库（1kk），需要检查它们是否还活着，有条件地如果你只是通过grequests（Python）chu...

python python-requests multiprocessing grequests

回答 1 投票 0

如何在 Django 应用程序中安全地使用多处理？

我读过的文档表明，多重处理可能会在 Django 应用程序或 Windows 上导致意外的副作用，尤其是那些连接到多个数据库的应用程序。具体来说，我正在使用一个函数...

python django debugging multiprocessing

回答 1 投票 0

信号量权限被拒绝

我正在尝试创建一个可以在进程之间共享的简单信号量。我的主程序调用以下函数来创建信号量。 #define SHAREDSEM“/sharedSem” sem_t *sharedSem =

c macos process multiprocessing semaphore

回答 2 投票 0

异常：在 GPU 上使用 torch.multiprocessing.spawn 时，进程 0 以退出代码 1 终止

每当我使用 torch.multiprocessing.spawn 在多个 GPU 上并行化时，包括并行和分布式训练教程中的代码示例，我都会收到错误。异常：进程 0

python multiprocessing

回答 1 投票 0

如果我们有 AsyncIO、多线程和多处理，为什么还要使用 celery？什么时候用什么？

最近我正在学习 celery，这个问题出现在我的脑海中，因为还有其他解决方案可以从请求-响应周期中卸载任务。

python multithreading multiprocessing celery python-asyncio

回答 1 投票 0

如何使用 Python 多重处理与未定义的 Queue.task_done()

我有以下脚本，我想通过在 CPU 核心之间拆分任务来加快处理速度。 myscript.py 从队列导入队列从worker_script导入Worker 任务队列 =

python multiprocessing queue

回答 1 投票 0

使用管道将数组从子进程传递到父进程

我正在尝试发送一个大数组，其中一半的值由子进程计算，另一半由父进程计算。我希望父进程获得

arrays c multiprocessing pipe fork

回答 1 投票 0

TypeError：AutoProxy 对象不可迭代 - 多处理

考虑以下服务器代码：从 multiprocessing.managers 导入 BaseManager、BaseProxy def baz(aa) : 打印“aaa” l = [] 对于范围（3）内的 i ： l.追加(aa) 返回l ...

python proxy multiprocessing autoproxy

回答 3 投票 0

在类中使用多重处理

我有一个Python类，用于进行一系列计算，其中我初始化了存储在嵌套字典中的许多不同的pandas.DataFrame。初始化的瓶颈

python parallel-processing multiprocessing

回答 1 投票 0

multiprocessing 相关问题

最新问题