yarn 相关问题

YARN（又一个资源谈判者）是第二代Apache Hadoop基础架构的关键组件。不要将它用于JavaScript / Node.js Yarn包管理器（改为使用[yarnpkg]）！最初由Apache描述为重新设计的资源管理器，YARN现在被描述为用于大数据应用的大规模分布式操作系统，包括下一代MapReduce（MR2）。

极长行的火花任务如何处理？

我正在使用pyspark处理多个日志文件，在该文件中，一条记录被拆分为多行格式，因此我选择了WholeTextFiles来读取数据，然后过滤出我想要的内容。每个文件的大小...

apache-spark pyspark yarn

回答 1 投票 0

公用文件夹和源文件夹没有出现在create-react-app中

react-app该命令将无法使用，并且不会创建奇怪的Public和Source文件夹。我已经尝试了很多次，即使使用纱线也无法正常工作！请告诉我为什么这是...

reactjs yarn npx

回答 1 投票 0

Spark执行程序看不到隐式值（java.lang.NullPointerException）

我有一个无法在Yarn上启动的spark应用程序。我收到空指针异常。（在主本地应用程序上工作正常）。我的应用程序正在将嵌套的XML转换为JSON。我是...

scala apache-spark rdd yarn implicit

回答 1 投票 0

当我的Spark作业出现内存不足错误时应该如何调试？

当我执行Spark作业时，出现如下错误消息。容器[pid = 140679，containerID = some_container_id]运行超出了物理内存限制。当前使用情况：2.3 GB的2 GB物理内存...

java apache-spark hadoop yarn

回答 1 投票 0

YARN可以抢占Spark驱动程序吗？

有人可以澄清YARN是否可以抢占Spark驱动程序，因为应用程序消耗的资源超过了其队列允许的资源？这个问题来自于以下产品群场景：CDH 5.12，hadoop 2.6 ....

hadoop apache-spark yarn

回答 1 投票 0

纱线工作区和NPM包是否相同？>

我以前从事NPM的工作，并且知道软件包的结构是什么样的，基本上，您正在开发的每个项目在开发完成后都会变成一个软件包，并且可以发布到...

node.js npm yarn

回答 1 投票 1

如何将任务分配给黄昏纱簇中的特定工人

关于dask.distributed的问题的类似物可以在这里找到：如何将任务分配给Dask.Distributed中的特定工作者，但是相同的技术似乎不适用于纱线簇...

python yarn dask

回答 1 投票 0

同一节点内的多个纱线容器可以共享磁盘内存吗？

理论上，当多个容器分配在一个节点上时，由于这些容器位于同一台计算机上，因此似乎可以使它们共享磁盘内存？更具体地说，我可以...

python apache-spark containers yarn dask

回答 1 投票 1

在ddev中从Dockerfile运行yarn

这是我如何在DDEV Web容器中添加和使用nvm的后续内容？我的dockerfile现在看起来像这样：ARG BASE_IMAGE FROM $ BASE_IMAGE ENV NVM_DIR = / usr / local / nvm ENV NODE_DEFAULT_VERSION = v8.16 ....

yarn ddev

回答 1 投票 0

使用Typesafe配置时在Spark YARN客户端和集群模式之间切换

一直困扰于使用Spark YARN处理多个配置文件以及在集群和客户端模式之间切换的问题。在我的应用程序中，我需要加载两个配置文件：一个应用程序...

apache-spark yarn typesafe-config

回答 1 投票 0

Spark-如何检查Spark Job是在本地还是在纱线上运行

我有一个SparkSession方法，在所有用例中，它都可以在群集上正常工作，但是在Jenkins中测试案例失败，通过设置.config（“ spark.driver.bindAddress”，“ 127.0...。

scala apache-spark yarn local master

回答 1 投票 -1

如何使用yarn安装最新版本的jsPDF？

当前稳定的发行版是jsPDF的1.5.3，但已有将近2年的历史：https://www.npmjs.com/package/jspdf master分支已经在2.1.1上。我需要的修复是在1.5.3之后的补丁中。 ...