yarn 相关问题

YARN(又一个资源谈判者)是第二代Apache Hadoop基础架构的关键组件。不要将它用于JavaScript / Node.js Yarn包管理器(改为使用[yarnpkg])!最初由Apache描述为重新设计的资源管理器,YARN现在被描述为用于大数据应用的大规模分布式操作系统,包括下一代MapReduce(MR2)。

为什么Flink使用Yarn?

我正在深入研究Flink,看看我如何在项目中使用它并对创建者/高级思考者提出问题...为什么Flink使用Yarn作为默认资源管理器?是......

回答 1 投票 2

Apache Spark:生成的文件在工作节点而不是主节点上创建

我在本地pc上配置一个主服务器,在virtualbox中配置一个工作节点,结果文件一直在工作节点创建,发送回主节点的instread,我想知道为什么会这样。因为我的 ...

回答 1 投票 0

运行Terasort时获取失败太多

我有一个8节点的Hadoop集群,每个节点有24个具有超线程的物理内核,因此,48个vCPU和256GB内存。我正在尝试运行6TB Terasort工作。问题:Terasort没有运行......

回答 1 投票 0

Meteor - React - Mongodb项目不会立即获取或闪存

我正在使用Meteor / React和MongoDB开始我的项目。我已将我的代码推送到以下URL:https://github.com/msc/soccer-app我从哪个插入播放器名称到MongoDB,...

回答 1 投票 0

无法增加Max Application Master资源

我正在使用uhopper / hadoop docker image来创建纱线簇。我有3个节点,每个节点有64GB RAM。我添加了配置。我已经给了纱线32GB。总簇内存为96GB。 - ......

回答 2 投票 5

Spark:内存繁重的连接操作的最佳实践

我有一个火花程序,涉及大型Hive表的连接操作(数百万行,数百列)。在这些连接期间使用的内存非常高。我想了解......

回答 1 投票 0

纱线容器,火花执行器和EMR中可用节点之间的关系是什么?

假设我有一个拥有1个主节点,3个核心节点和5个任务节点的集群。如果我在YARN集群模式下运行spark作业,驱动程序将在主节点上运行(主节点也可以运行执行程序吗?),并且......

回答 1 投票 0

无法在oozie中运行shell(错误= 2,没有这样的文件或目录)

在运行后我在我的工作流程中为oozie和sample.sh文件创建了ambari-views ui的工作流程,我有一个错误。当我将shell的主体更改为简单的命令,例如echo 1时,此错误没有......

回答 1 投票 0

根据解释计划,需要帮助重写此查询,该查询多次使用相同的数据集

我们的开发团队运行的查询资源很多,并且在查看解释计划时,看起来它多次使用相同的数据集。无论如何我们可以重写这个......

回答 1 投票 0

Map-Reduce Logs on Hive-Tez

我希望在Hive-Tez上运行查询后获得Map-Reduce日志的解释? INFO之后的界限是什么?这里我附上了一个样本信息:Session已经打开INFO:...

回答 1 投票 2

© www.soinside.com 2019 - 2024. All rights reserved.