distributed-computing 相关问题

利用多台计算机，通过通信链路相互连接，完成一项共同任务。

未解析的插件：'org.apache.maven.plugins：maven-compiler-plugin：3.8.0'

我尝试在我的 IntelliJ IDE 下设置 Maven 项目。但是，当我尝试更新 pom.xml 文件时，出现此错误。我尝试删除用户下的 .m2 存储库，进行更改......

maven intellij-idea pom.xml maven-plugin distributed-computing

回答 2 投票 0

如何保持分布式Python进程之间的同步？

我有许多工作站运行包含如下序列的长进程： x = wait_while_current_is_set y = 读取电压 z = z + y 工作站必须与

python parallel-processing distributed-computing distributed distributed-system

回答 1 投票 0

写入 Delta 表 Spark 3.5.3 Delta Lake 3.2.0

我似乎无法使用 Spark 作业中的 Delta 格式进行编写，但我不确定我错过了什么。我正在使用 Spark 3.5.3 和 Deltalake 3.2.0。我的错误：线程“main”组织中出现异常。

scala apache-spark parquet distributed-computing delta-lake

回答 1 投票 0

Paxos 与两阶段提交

我试图理解 paxos 和两阶段提交之间的区别，作为在多台机器之间达成共识的手段。两阶段提交和三阶段提交很容易理解。它

database distributed-computing paxos

回答 2 投票 0

可以使用张量流数据集进行 Hyperopt 分布式参数调整吗？

我正在尝试在 Tensorflow 模型上的 Databricks 中执行稍微复杂的超参数调整操作（尽管复杂性来自于我们试图与多少种不同的工具一起工作......

tensorflow deep-learning databricks distributed-computing hyperopt

回答 1 投票 0

如何配置Ray集群以利用Databricks集群的全部容量

我有一个 Databricks 集群，配置为最少 1 个工作线程、最多 4 个工作线程，并启用了自动扩展。我的 Ray 配置 (setup_ray_cluster) 应该怎样才能充分利用

apache-spark azure-databricks distributed-computing ray

回答 1 投票 0

“代码移至数据”而不是数据移至代码的原理是什么？

在最近关于分布式处理和流媒体的讨论中，我遇到了“代码移动到数据”的概念。有人可以帮忙解释一下吗？这句话的参考是

hadoop architecture mapreduce distributed-computing design-principles

回答 3 投票 0

PyTorch：在多个 GPU 上运行推理

我有一个接受两个输入的模型。我想在多个 GPU 上运行推理，其中一个输入是固定的，而其他输入则发生变化。所以，假设我使用 n 个 GPU，每个 GPU 都有一个

python pytorch distributed-computing

回答 2 投票 0

计算 350 万个 ID 组合中同时出现的实体的最大数量的函数？

apache-spark pyspark parallel-processing distributed-computing

回答 1 投票 0

Kafka 中的容错队列工作架构？

我是使用队列工作架构的新手，我对如何使其能够适应工作失败的情况感兴趣。例如我们有一个工作人员 Alpha 池，将条目放入队列 A 中然后...

apache-kafka queue distributed-computing distributed-system fault-tolerance

回答 1 投票 0

Jikes RVM 作为分布式编译器

我们可以使用Jikes RVM作为分布式编译器吗？

java distributed-computing jikes

回答 1 投票 0

raft 中客户端请求失败

想象一个 3 节点 raft 集群。每个节点都同步有日志 [1,2,3] 并且条目 3 由领导者提交。现在领导者收到条目 4，但由于网络不可靠和 r 而未能提交它......

algorithm amazon-dynamodb distributed-computing distributed raft

回答 1 投票 0

Apache ignite 计算广播

我正在尝试 apache ignite，并且必须说 ignite 文档不完整。不管怎样，我已经使用 docker 镜像 2.14.0-arm14 设置了两个节点集群，并公开了两个 ignite 容器的所有端口，怎么...

ignite distributed-computing apacheignite

回答 1 投票 0

如何在 Google Colab 上运行 mpi4py 代码？

我有一段使用 mpi4py 库分发的任务编写的代码。本质上，代码只是分配循环并在多个核心中运行它们，无法进行矢量化，并且它...

python google-compute-engine distributed-computing google-colaboratory mpi4py

回答 2 投票 0

在 DGX Cloud 上运行时出现与 PyTorch DDP TCP 相关的错误

我在 PyTorch 中设置了一个训练循环，并根据 torchrun 的容错分布式训练添加了对分布式数据并行的支持。我还对我的训练和 tr 进行了 Docker 化...

sockets pytorch nvidia distributed-computing

回答 1 投票 0

跨 Spark 执行器安装 Python 包 - 未找到 python 包，引发 ModuleNotFoundError

我有一个关于使用 Databricks 和 Mlflow 在 Spark 工作节点上安装新包的正确方法的问题。我目前拥有的内容如下：训练脚本（使用 cv2，即

python apache-spark databricks distributed-computing azure-databricks

回答 1 投票 0

解决方案/架构：队列还是其他？

我的服务有多个用 Node.js 编写的前端和用 Ruby 编写的工作线程。现在的问题是如何让它们进行通信？我需要维护动态的工作人员池来处理负载（

node.js ruby architecture distributed-computing

回答 3 投票 0

ZeroMQ PUB/SUB 内部行为是什么？

我正在尝试了解 zmq 与 PUB/SUB 的行为。 Q1：我找不到使用 PUSH/PULL 套接字组合可以创建一个实际在内存消息中排队的队列的真正原因

zeromq publish-subscribe distributed-computing pyzmq low-latency

回答 1 投票 0

在 slurm 集群的不同节点上针对不同参数运行函数

如何从outer调用inner函数，使得每次调用inner都运行在不同的节点上？也就是说，对于 ij = 1，它在节点 1 上运行，使用其所有 16 个核心，对于 ij = 2，它在节点 2 u 上运行...

julia distributed-computing slurm hpc

回答 1 投票 0

我需要 Apache Spark 来执行我的 Airflow DAG 任务吗？

我有一个包含多个 DAG 的工作流程。每个 DAG 都有多个任务。这些任务是简单的 ETL 任务。它涉及 kmls、csv 形式的地理数据。一个示例任务：我们有道路学院的元数据...

python apache-spark airflow distributed-computing

回答 1 投票 0

distributed-computing 相关问题

最新问题