distributed-computing 相关问题

利用多台计算机,通过通信链路相互连接,完成一项共同任务。

分布式Tensorflow:内部错误 - Blas GEMM启动失败

我正在尝试使用分布式Tensorflow,并在localhost上启动了两个进程(Windows 10,Python 3.6.6,Tensorflow 1.8.0)。每个过程都运行一个简单的神经网络的复制品(1隐藏...

回答 1 投票 1

通过多个进程同步轮询文件中的对象列表

使用案例:我有一个带有ID的文件(大约500k)我的应用程序读取这些文件并处理它们(每个id的处理很大)。总的来说,这需要大量的时间和内存......

回答 1 投票 0

公证人如何向节点提供他们诚实的证据?

例如,如何向一个节点证明公证人没有与交易对手勾结以加倍投入?如何在Corda系统内实现信任和共识?编辑:在......

回答 1 投票 0

Python中的分布式计算 - 网络爬虫

我的目标是构建一个分布式爬虫,一次处理多个网站,也可以处理多个查询。为此,我使用像'...这样的标准软件包在Python中构建了一个Web爬虫。

回答 1 投票 1

带有MPI的C中的结构数组

我有一个相对的问题,我已经定义了struct,我希望结构数组有这个信息(处理器名称和处理器的计算时间)这是我的代码的一部分:...

回答 2 投票 2

在内部分发Tensorflow培训的最简单方法是什么?

训练分布在家庭网络中的张量流模型(使用Estimator API)的最简单方法是什么?看起来不像ml-engine本地火车允许你指定IP。

回答 2 投票 1

使用LSTM在张量流中进行分布式训练

LSTM是算法还是节点?如果在模型中使用它,如果我使用分布式培训,反向传播会发生冲突吗?

回答 1 投票 1

弹性分布式数据集可以永久存储为文件吗?

我想将RDD上的每个转换存储为一个文件,以便我可以在需要时将它们引回。我发现每次提到的RDD总是谈论它们是在内存中创建的,我们可以......

回答 1 投票 1

在TF slim中使用多个GPU用于inception_v3模型

我正在尝试使用3个GPU训练一个苗条的模型。我特意告诉TF使用第二个GPU来分配模型:使用tf.device('device:GPU:1'):logits,end_points = inception_v3(输入)......

回答 1 投票 1

处理区块链中节点的内存和处理器限制

在Hyperledger Fabric Network(或其他一些Blockchain平台)中,它使用分布式分类帐来存储事务块。因此,所有参与者节点都必须维护一个分类帐以保持...

回答 1 投票 0

在不可变分布式哈希表中实现一致的选项

我正在实现一个完全分散的数据库。任何人都可以随时上传任何类型的数据。适合这个问题的一个好的解决方案是不可变的分布式哈希表。价值......

回答 1 投票 0

建议用于学习目的的小型Hadoop集群的建议

我对我的大数据类进行了测试,我必须使用“较小”的数据集进行某种大数据分析。我实际上有我的东西弄清楚了。我安装了Hadoop 2.8.1和Spark 2.2.0(我用...

回答 1 投票 1

我怎么能在几台计算机之间转换数据? [关闭]

背景:我想在R中构建一个简单的分布式环境,它可以在WINDOWS中完成一些“数据大量”的工作。例如,计算“大”矩阵乘法。好像有各种各样......

回答 1 投票 -3

借助自动缩放功能在Cloud Foundry上进行分布式计算

我有一些计算密集和长期运行的任务。它可以很容易地分成子任务,也可以很容易地在以后聚合结果。例如Map / Reduce可以工作......

回答 1 投票 0

当逻辑时间戳相同时,Ricart-Agrawala算法中的死锁

我正在尝试在分布式系统上实现Ricart-Agrawala算法以实现互斥。根据我的理解,它使用逻辑时间戳http://blog.8thlight.com/rylan-dirksen/2013/10/04 / ...

回答 1 投票 0

最佳MapReduce算法,用于计算每个重叠间隔的数量

格式[a,b]中有数十亿个间隔,所有这些间隔都会将数字空间切割成多个单个部分。我打算输出所有具有重叠间隔数的单件......

回答 2 投票 0

如何使用Java RMI创建多个服务器?

我需要:一个与前端通信的客户端,它与3个文件服务器通信。我该怎么做呢?它需要使用RMI作为分布式系统。我还需要监控......

回答 1 投票 0

有没有办法使用API 提交spark作业

我可以使用控制台在linux服务器上提交spark作业。但是有没有API或某些框架可以在linux服务器上提交spark作业?

回答 2 投票 0

如何查看Dask Compute任务的进度?

我想在Jupyternotebook上看到一个进度条,当我使用Dask运行计算任务时,我正在从一个大的csv文件+ 4GB计算“id”列的所有值,所以任何想法?导入dask ....

回答 1 投票 13

ZooKeeper多服务器设置示例

从ZooKeeper多服务器配置文档中,它们显示以下配置,可以放在每个服务器上的zoo.cfg(ZK的配置文件)中:tickTime = 2000 dataDir = / var / zookeeper / clientPort = ...

回答 1 投票 4

© www.soinside.com 2019 - 2024. All rights reserved.