yarn 相关问题

YARN（又一个资源谈判者）是第二代Apache Hadoop基础架构的关键组件。不要将它用于JavaScript / Node.js Yarn包管理器（改为使用[yarnpkg]）！最初由Apache描述为重新设计的资源管理器，YARN现在被描述为用于大数据应用的大规模分布式操作系统，包括下一代MapReduce（MR2）。

如何恢复dataproc群集中已删除的主节点？

我的一个主节点在我的dataproc集群中被意外删除。有什么方法可以恢复该主节点，还是可以启动一个新的主节点并将其添加到群集中？ ...

hadoop yarn high-availability google-cloud-dataproc

回答 1 投票 0

使用Webpacker加载失败

现在我已经解决了Ruby的问题，带有webpacker的React部件可能无法加载，如下所示。 yarn install v1.21.1 [1/4]正在解决程序包... [2/4]正在获取程序包... info ...

node.js ruby-on-rails bundler yarn

回答 1 投票 0

纱线错误：无法为Spark会话创建Spark客户端

我对此有点陌生，经验不足，不胜感激。我正在尝试在现有的Spark安装上安装Hive。我主要按照此页面上的说明进行操作，没有...

apache-spark yarn

回答 1 投票 0

我可以用纱线代替npm吗？

我对节点和编码一般来说是超级新手，请原谅我。我正在尝试使用焊接刮擦服务，但是我正在使用npm。要运行，它说要使用yarn命令：yarn dev＃development。是否有...

node.js web-scraping zsh yarn npm-install

回答 1 投票 -1

如何在Spark应用程序的EMR主节点上运行http服务器

我有一个在AWS EMR 5.28.0上运行的Spark流应用程序（Spark 2.4.4）。在主节点上的驱动程序应用程序中，除了设置Spark Streaming作业外，我还在运行http服务器（...

apache-spark http yarn amazon-emr

回答 1 投票 0

如何在Spark中识别最佳混洗分区数量

我正在EMR中运行一个火花结构化的流作业（每天都会反弹）。执行几个小时后，我的应用程序中出现OOM错误并被杀死。以下是我的配置...

java apache-spark apache-spark-sql yarn spark-structured-streaming

回答 1 投票 0

npm，pnpm，yarn或pkglink可以节省时间和磁盘空间？

我为每次为每个项目都创建的node_modules文件夹的大小感到非常沮丧。因此，我一直在寻找一些节省时间的解决方案。我发现了PNPM（https：//pnpm.js ....

node.js npm yarn pnpm

回答 1 投票 0

如何由yarnClient获取代码中的日志聚合

我正在遵循有关通过Java API创建YarnApp的示例。 https://github.com/hortonworks/simple-yarn-app可以正常工作，但是，该日志仅在日志消失后才存在。我怎么能抓到...

java hadoop yarn

回答 1 投票 1

Gatsby网站在构建期间不可用

我通过nginx为我的Gatsby / public目录提供服务。因此，在新的构建过程中，我的网站不可用。此目录中的文件将被删除并重建。构建时间可能会花费很长时间。我...

node.js yarn gatsby

回答 1 投票 1

在GCP DataProc上配置Spark执行器

我无法配置yarn和spark以利用我在GCP上的Dataproc Spark集群上的所有资源。我正在运行一个1个主节点（4个核心）和2个工作人员（16个核心）的集群，我希望获得火花...

apache-spark yarn google-cloud-dataproc

回答 1 投票 1

带有节点标签的配置单元重叠

我有一个hortonworks 3.1集群。最初，我有6个数据节点，3个主节点，这6个数据节点都具有96gb的内存。我能够正常旋转3个重叠节点。现在我有3个新节点，256gb ...

hive yarn

回答 1 投票 0

并行运行多个Spark应用程序

我正在运行YARN + spark 2.4.5集群。我正在使用docker作为yarn client模式运行作业。我将主服务器和docker客户端配置如下：yarn-site.xml [

apache-spark yarn

回答 1 投票 4

纱线从我们在spark-submit命令中传递的执行程序数量中为应用程序主服务器分配一个容器

假设我正在用yarn-client模式提交一个Spark应用程序。在Spark提交中，我将--num-executors传递为10。当客户端将此spark应用程序提交到resourceManager时，...

apache-spark yarn

回答 1 投票 0

我看到'yarn install --network-timeout 1000000000'增加了超时时间。有谁知道这是几秒钟？

我看到'yarn install --network-timeout 1000000000'增加了超时时间。有谁知道这是几秒钟？而且，在某个地方可以看到文档吗？

yarn package-managers

回答 1 投票 0

NettyBlockTransferService不遵守spark.blockManager.port配置

我正在运行Spark 2.4.4。在纱上。 NodeManager上的spark配置如下所示：spark-defaults.conf：spark.driver.port = 38429 spark.blockManager.port = 35430 spark.driver.blockManager.port = ...

apache-spark hadoop yarn

回答 1 投票 2

Yarn-使用全局二进制代替本地二进制

我有一个名为“ now”的二进制文件，它在本地和全局安装。本地版本使用now @ 17，而全局版本使用now @ 16。我想保持本地版本不变。我想调用...

yarn

回答 1 投票 0

纱线/节点-JavaScript-导入和导出问题

我只想从另一个文件导入函数，而我得到此错误消息：SyntaxError：无法在模块外部使用import语句，我没有使用任何html文件。我只使用js ...

javascript import export node-modules yarn

回答 1 投票 0

在Apache配置单元中执行分析查询（例如select count（*）时出错）>

当我在蜂巢上执行简单查询时，例如select * from table3 limit 100; ，结果还可以。但是当我从table3执行select count（*）时；我遇到以下错误：0：艾滋病毒>选择...