yarn 相关问题

YARN(又一个资源谈判者)是第二代Apache Hadoop基础架构的关键组件。不要将它用于JavaScript / Node.js Yarn包管理器(改为使用[yarnpkg])!最初由Apache描述为重新设计的资源管理器,YARN现在被描述为用于大数据应用的大规模分布式操作系统,包括下一代MapReduce(MR2)。

java纱线应用程序的高可用性

有人可以让我知道为确保纱线应用的高可用性的推荐方法吗?例如,假设我有3个物理节点。 yarn java应用程序需要3个容器,并且...

回答 1 投票 0

EMR中用于长期运行的作业和多个小型运行的作业的资源优化/利用

我的用例:我们的Spark任务长期运行。此后称为LRJ。该作业每周运行一次。我们有多个随时可以进行的小型运行作业。这些作业的优先级高于...

回答 1 投票 1

向Azure DevOps自托管代理自动添加功能

据我所知,Azure DevOps代理能够自动检测其自身的功能。根据文档,只要有新的软件安装完毕,只要我重新启动主机...

回答 1 投票 1

tsx找不到模块'xxx'

我正在使用yarn 2安装依赖项软件包,并使用yarn start命令顺利启动项目,但是vscode总是提醒我找不到任何本地模块。这是我的...

回答 1 投票 0



在生产中构建纱线后出现Axios 404错误-托管的MERN应用程序

对此进行了大量研究,但结果空洞。 Axios每次都在开发模式下工作,但是在生产服务器上进行纱线构建和托管后,我收到404错误。关于...

回答 1 投票 0

如何在纱线模式下访问Spark Web UI

我正在作为AWS EMR步骤运行pyspark作业,该脚本需要花费超过15分钟的时间来运行。我在EMR群集中有1个主节点和3个核心节点。我想找出原因以及脚本的哪一部分...

回答 1 投票 0

Uncaught SyntaxError:意外令牌'

我正在用React(类型脚本)开发项目。我想为导出/导入excel文件添加新功能,因此决定使用xlsx库https://www.npmjs.com/package/xlsx,所以我的问题是我运行了“ ...

回答 1 投票 2

Spark:纱线上的连接被拒绝的Webapp代理

我在docker容器上使用spark和hadoop:我有3个容器主容器和2个从属容器。一切工作正常,但运行任务时我的spark代理webapp出现问题。我可以连接...

回答 1 投票 1

在python中以编程方式提交pyspark作业,而无需使用Submit pyspark

我想将我的本地系统的Spark作业提交到安装了cloudera的远程服务器(YARN上的Spark)。尝试了所有可能性。试图创建SparkSession和SparkContext ...

回答 1 投票 0

df.show()在hdfs中不为空时输出空结果

[我有一个pyspark应用程序,该应用程序提交给具有多个节点的纱线,并且它还在我的代码中从hdfs读取实木复合地板,我有一个直接从hdfs读取的数据框:df = self.spark.read ....

回答 1 投票 0

NPM是否有用于对等依赖项安装的标志?

浏览文档,我看到-S,-O,-D等用于安装依赖项的选项,但没有看到用于安装到对等依赖项块的标志。 NPM是否有用于安装到...的标志?

回答 1 投票 -1

使用Ant Design的纱线构建失败

我打算重新部署一个Web应用程序,所以我试图运行yarn build,它遇到了这个错误。我正在使用Ant Design,在通过Google搜索后仍然没有运气之前,我也做了过纱线弹出操作,...

回答 1 投票 0

aws emr添加步骤限制;我可以并行运行步骤吗?

我有许多SQOOP作业,我想通过EMR添加步骤启动。我现有的内部部署方法是并行运行它们,直到用完YARN资源为止。我注意到当我创建...

回答 1 投票 0

如何解析纱线日志以获取性能指标?

摘要:我需要一些东西来记录日志-applicationId myID |解析。我正在开发具有某种程度的并行性的代码,因此我需要有关所使用的vcore和RAM内存的反馈...我有...

回答 1 投票 5

删除yarn.lock并通过运行yarn install重新生成它是一个好主意吗?

最近我安装了几个npm软件包,然后必须将其删除。现在,我不确定yarn.lock文件,并认为其中可能包含一些旧代码。删除纱线是个好主意。...

回答 1 投票 0

YARN容器内存未反映在Java Xmx设置中

[请帮助我了解我的理解或配置中的错误。我在YARN上运行Spark,并且在yarn-site.xml中将最小容器内存分配设置为8GB:

回答 1 投票 0

纱线应用程序已接受但尽管分配了资源仍未运行cloudera

我正在使用Cloudera quickstart VM 5.13.0.0在yarn-client模式下运行Spark应用程序。我已经为我的Cloudera VM分配了10GB和3个内核。当我提交申请时,申请是...

回答 1 投票 0

如何使用自定义模式制作React应用的生产版本?

[使用带有“ react-scripts”的CRA构建应用程序:“ 3.3.1”,但是我在构建模式方面存在问题,例如在Vue-CLI中,我可以这样做:npm run build---mode分期//我想要的任何ENV名称......>

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.