distributed-computing 相关问题

利用多台计算机,通过通信链路相互连接,完成一项共同任务。

计算流数据集中事件之间的时间差

在我的应用程序中,将为用户执行的每个操作生成事件,并使用以下格式的数据生成事件-user_id | step_num | event_timestamp这些命令的顺序...

回答 1 投票 0

在远程过程中更改/访问远程变量

我是Julia的新手,正在尝试做一个非常简单的任务:将变量x = 1分配给每个进程,将x仅在进程2中更改为不同的值(将x本地更改为进程2)打印新值...

回答 1 投票 0

有关如何提高群集性能的建议?

我有一个相对较大的数据集,〜1000个文件,每个文件有1000行,〜1000列。我正在运行一个算法,其中每一步都需要遍历整个数据集并计算矩阵...

回答 1 投票 0

最佳实践:异步处理的同步响应

Web API在端点处接收客户的信用卡请求数据。端点将带有此数据的消息发送到Kafka。在本主题中,多个吊舱/容器将连接到Kafka,以用于...

回答 1 投票 0

最佳实践:来自异步处理的同步响应

Web API在端点上接收客户的信用卡请求数据。端点将带有此数据的消息发送到kafka。在本主题中,多个Pod /容器将连接到kafka,用于...

回答 1 投票 0


BOINC:有一个简单的示例,如何为该程序编写程序并将其实现到其客户端/服务器系统中?

我做了一个数值方法作为我的文凭论文,并用Java编写了代码。如果适当执行,则需要大量的计算时间。因此,我寻找了一个替代方案,并找到了BOINC。不幸的是我没有...

回答 2 投票 4

Raft,为什么新领导人的任期比老领导人大

在网络断开连接后,筏跟随者如何重新加入?一样。但是,将登录计算机0替换为计算机1吗?机器0离开后提交的日志将是什么?机器1 ...

回答 1 投票 0

MatLab并行计算工具箱:为同一任务使用更多内核

我有一台具有4个物理核心的笔记本电脑和MatLab并行计算工具箱。我需要执行两个独立的任务(非常昂贵,假设要计算密集,大,...的最大特征值...

回答 1 投票 0

高性能Fortran(HPF),没有指令?

在高性能Fortran(HPF)中,我可以使用DISTRIBUTE指令指定并行计算中涉及的数组的分布。例如,以下最小子例程将求和...

回答 1 投票 2

火花作业长时间运行以获取太小的数据

我在主服务器上运行的火花代码如下:从pyspark导入pyspark导入SparkContext sc = SparkContext()nums = sc.parallelize([1,2,3,4])nums.collect()我的集群配置:3节点(1个master + ...

回答 1 投票 -1

如何使用Scrapyd和ScrapydWeb在整个群集中分布蜘蛛程序?

我正在使用Scrapy在抓取项目中工作,我需要在群集的不同节点之间分布我的Spider,以加快该过程。我正在使用ScrapydWeb进行管理,我有...

回答 1 投票 0

Pytorch-分布式数据并行混淆

[我只是在看DDP教程:https://pytorch.org/tutorials/intermediate/ddp_tutorial.html据此:在...期间,通常使用torch.save和torch.load来作为检查点模块。

回答 1 投票 0

Azure机器学习工作区(MPI配置)中的Horovod时间轴和MPI跟踪

全部,我正在尝试在Azure机器学习服务上使用Horovod训练分布式模型,如下所示。估计量= TensorFlow(source_directory = script_folder,...

回答 1 投票 0

我拥有哪个一致性模型?

我已经在Redis上实现了复制的键/值存储。我有被动复制,其中所有读写请求都转发给领导者,领导者总是返回最后写入的值...

回答 1 投票 0

Sidecar拓扑必须是一对一的吗?

我正在尝试在分布式系统的单节点模式(用于实现代理,资源记录等)中学习sidecar模式。我只是想知道它是否有什么要...

回答 1 投票 0

等待所有给定名称的LSF作业,优先于JOB_DEP_LAST_SUB = 1

我有一个很大的计算任务,由几个步骤组成,我在由LSF管理的PC群集上运行。此任务的一部分包括启动几个具有相同名称的并行作业。职位是...

回答 1 投票 0

水平扩展和分布式系统有什么区别?

我现在正在学习系统设计。我试图对此进行研究,但我唯一能找到的是 Quora 上解释不清的答案。 1)水平缩放和

回答 2 投票 0

http请求是否自动重试tcp连接?

我正在构建一个分布式系统,在该系统中我进行一些http请求进行通信。我希望请求能够容错。请求没有超时,我是否应在一段时间后重试请求...

回答 1 投票 0

用于乘法运算的分布式计算

您能告诉我如何在python的O(N)并行时间内使用最多O(N ^ 1.63)个处理器将M位长的两个整数相乘。我认为karatsuba算法可以工作,但我不...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.