distributed 相关问题

多台计算机一起工作,使用网络进行通信

将 @everywhere 应用于 Julia 中已定义的函数

我想在运行时获取一个任意函数,该函数可能是也可能不是用 @everywhere 宏定义的,并以分布式方式运行它。 我的第一个天真的尝试是简单地尝试使用

回答 2 投票 0

DistributeDataParallel(DDP):在基于存储的屏障中等待为 rank 初始化进程组

DistributeDataParallel(DDP):在基于存储的屏障中等待为等级初始化进程组 今天第一次在两台服务器上使用DDP,一台4个GPU,一台2个GPU,WORD_...

回答 0 投票 0

C++ 客户端:确保 Aeron 中多个消费者在同一通道上的消息消费一致性

我有一个场景,我正在使用 Aeron 消息传递库,多个消费者从同一渠道消费。我想确保每条消息只被一个消费者消费以避免重复...

回答 0 投票 0

RuntimeError: CUDA error: invalid device ordinal when implementing Distributed Data Parallel in Pytorch tutorial

我正在尝试在 Pytorch 中复制教程分布式数据并行 https://www.youtube.com/playlist?list=PL_lsbAsL_o2CSuhUhJIiW0IkdT5C2wGWj 并收到错误 RuntimeError: CUDA error:

回答 0 投票 0

分布式系统初学者项目

我是一个全栈开发者。我想了解更多关于分布式计算和分布式系统的知识。我想知道互联网上一些最好的资源和一些初学者......

回答 0 投票 0

为什么带读修复的群体读写不可线性化

从设计数据密集型应用程序: Cassandra 确实等待读取修复完成仲裁读取 [27],但如果对同一个 k 有多个并发写入,它会失去线性化能力......

回答 0 投票 0

在 HPC 上运行并行 python 程序

我曾经在服务器上使用 python 进行一些可并行计算,现在我想迁移到在 SLURM 上工作的 HPC,但我相信我有一些概念上的问题。 我的计算需要矩阵...

回答 1 投票 0

mnesia如何与其他节点/PC同步disc_copies?

我想使用 Mnesia 备份我的应用程序,这样如果主节点出现故障,它可以在另一台 PC 上重新启动。 至此我已经成功将主节点连接到其他节点和它们的Mnesia,但是我做不到...

回答 1 投票 0

生成的 monitor_node 没有捕获 nodedown 消息

我在不同的 PC 上有一个主节点和一个备份节点。我希望 BNode 监视 MNode,这样如果 M 失败,B 可以重新启动 M 上的一些应用程序。 我的想法是让 M 产卵 ...

回答 0 投票 0

kubernetes 的分布式文件系统

我想在我的家庭实验室的 virtualbox 中设置一个 k8s 多节点集群,想为持久卷使用分布式存储,以便所有工作节点中的 pod 应该能够将卷挂载在...

回答 0 投票 0

筏算法的巨大缺陷

所以 raft 论文和论文说这是处理附加条目的方法: 接收器实现: 如果术语< currentTerm (§5.1) Reply false if log doesn’t contain an entry at

回答 0 投票 0

在实际集群中使用 MultiWorkerMirroredStrategy 时,Tensorflow 分布式学习不起作用

我只是想在 tensorflow 文档中遵循 MultiWorkerMirroredStrategy 的示例。 我在具有单个节点的 localhost 中成功训练。 但是,我在集群中训练失败了,它有两个 n...

回答 2 投票 0

Redis 模板的分布式锁

我试图弄清楚如何使用 Redis 模板在 Redis 中使用/实现分布式锁。我有竞争条件场景,所以不能将乐观锁定与 Multi 和 Exec 一起使用。 我看到 RedisLockSe...

回答 2 投票 0

按任务 ID 重试 celery 中的任务

我已经启动了很多任务,但是其中一些还没有完成(763个任务),处于PENDING状态,但是系统没有处理任何东西...... 可以重试这个任务给芹菜...

回答 2 投票 0

从本地向Ipfs 添加文件时如何解决504 网关问题? [关闭]

我已经使用自制软件在 macOS 上本地安装了 Ipfs,Ipfs 似乎运行正常,但是添加文件时即使守护进程正在运行,它也只能在本地使用。 这是广告时的印刷品...

回答 0 投票 0

MPI中的关键部分?

我有一些代码来打印一个2D数组到标准输出。问题是,当我运行它时,每个进程都会写入输出,数据重叠,导致无法使用。我怎样才能建立一个 ...

回答 2 投票 12

求书。分布式算法

我想学习一些关于分布式算法的知识,所以我想找一些书籍推荐。我对理论书籍比较感兴趣,因为实现只是品味问题(我 ...

回答 5 投票 9

当数据集是分布式的时候,如何划分数据集?

现在我想把一个数据集分成两部分:训练集和验证集。我知道在单个GPU上,我可以使用采样器来做这件事:indices = list(range(len(train_data))) train_loader = torch...。

回答 1 投票 2

解决 pytorch 分布式执行为每个进程 spawned 打印多条日志语句?

我正在运行pytorch分布式环境来训练一些模型,在同一个脚本中,我也使用日志来打印程序的状态。问题是,用pytorch分布式因为其 ...

回答 1 投票 0

分布式架构和数据复制

我正在寻找实现一个非常简单的分布式架构;2个工作站上的2个主节点;一个fedora工作站和另一个fedora虚拟机托管在一台Windows计算机上。我按照...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.