oozie 相关问题

Oozie是一个用于管理Hadoop Map Reduce作业的工作流/协调系统

与动作相关的未知hadoop作业。操作失败

我正在尝试从OOzie运行mapreduce程序。但是低于错误JA017:与操作[0000000-19100218005959-oozie-hdus-W @ ...]相关联的未知hadoop作业[job_local100982864_0001

回答 2 投票 1

作业跟踪器没有创建任何条目

我正在尝试从Oozie运行mapreduce作业。但是在运行作业后,在作业跟踪器网址中不会创建任何条目。到现在为止,我已经运行了近20多个作业,所有作业都失败了,但是看不到任何一个...

回答 1 投票 0

使用oozie中的正则表达式检查文件名格式

我想检查给定HDFS位置中是否存在具有特定名称的文件。我的文件名是这样的:TEST_20190930.csv我在互联网上进行了一些搜索,发现fs:...

回答 1 投票 0

E0405:提交请求没有任何应用程序或库路径

这是第一次运行Oozie的mapreduce程序。这是我的job.properties文件nameNode = file:/ usr / local / hadoop_store / hdfs / namenode jobTracker = localhost:8088 queueName = default oozie.wf ....

回答 1 投票 1

从Oozie运行mapreduce程序

这是第一次运行Oozie的mapreduce程序。这是我的job.properties文件nameNode = file:/ usr / local / hadoop_store / hdfs / namenode jobTracker = localhost:8088 queueName = default oozie.wf ....

回答 1 投票 0

错误HUE提交工作流程|依赖进口的错误

我得到一个导入错误,当我提出的工作流与色调,其中包含一个火花的行动。回溯低于:2019年1月30日16:31:48048 [主要] INFO org.apache.spark.deploy.yarn.ApplicationMaster -...

回答 1 投票 1

Oozie pyspark工作

我的工作流程非常简单。 ]]]

回答 3 投票 1

Oozie的和色调:运行shell脚本而被拒绝的权限

我在HDFS shell脚本sample_shell.sh /用户/ userwhich看起来像下面的:源/user/user/params_new.cfg回声“HELLO WORLD”回声$层的params_new.cfg也是HDFS /用户/用户.. 。

回答 1 投票 1

在工作流Oozie的(HUE),如何从壳动作参数传递到HDFS fs的动作

在我的工作流程,我有一个外壳程序操作和HDFS FS动作壳牌行动回声日期。 (日期= 2016年10月6日)我想设置在HDFS FS动作MKDIR路径上述日期参数。以下是行动...

回答 2 投票 1

Pyspark Phoenix集成在oozie工作流程中失败

我使用pyspark通过下面的代码dataframe.write.format(“org.apache.phoenix.spark”)连接并将数据提取到phoenix表中.mode(“overwrite”)。option(“table”,“tablename”)。 (“zkUrl”,“......

回答 1 投票 0

Oozie没有照顾acl

在我的hadoop cluser上,我设计了一个具有以下属性的oozie工作流程。 mapred.job ....

回答 2 投票 0

停止Oozie工作流程执行

昨天我开始了一个oozie工作流程。它开始了一整天停滞不前的工作。我今天早上杀了他们,做了一个我现在要测试的改变。杀死这两个工作之后就像......

回答 3 投票 5

如何通过安排作业每天运行单个查询

我是hadoop的新手。我想每天运行一个特定的查询,并获取配置单元表中存储的信息。如何使用作业计划和计时器安排该查询每天运行?

回答 3 投票 0

ClassNotFound与Ozzie,Azure HDInsight和Spark2

经过一周的研究,不得不提出这样的要求:环境:Azure HDInsight Oozie版本:“Oozie客户端构建版本:4.2.0.2.6.5.3004-13”Spark:Spark2我的程序:简单的Scala程序......

回答 1 投票 0

Oozie ssh动作

我试图通过Oozie工作流程运行ssh动作, 服务器名称

回答 2 投票 0

Oozie作业错误 - java.io.IOException:未指定配置

我为hive脚本创建了一个oozie工作流,以便在表中加载数据。我的workflow.xml包含 -

回答 3 投票 9

Oozie在随机节点上运行shell脚本

我写了类似自定义oozie FTP动作的smth(在“专业Hadoop解决方案:Boris Lublinsky; Kevin T. Smith; Alexey Yakubovich”中描述的简单示例)。我们在node1和Oozie服务器上有HDFS ...

回答 2 投票 1

Oozie shell动作 - 运行sqoop命令并需要记录详细信息

我正在与Oozie,shell动作和sqoop合作。我正在使用oozie来运行许多sqoop命令。我已经设置了一个shell动作,在那个shell中我放置了很多sqoop命令。现在,shell动作是......

回答 1 投票 2

哪一个选择Apache Oozie或Apache Airflow?需要比较

我是新工作调度 员,并且正在寻找一个在大数据集群上运行的工作。我对可用的选择很困惑。发现Oozie与已有的相比有许多限制......

回答 1 投票 16

Oozie s3作为工作文件夹

当从s3提供workflow.xml时,Oozie失败并出现以下错误,但同样有效的是HDFS提供了workflow.xml。同样适用于早期版本的oozie,有什么......

回答 1 投票 1

© www.soinside.com 2019 - 2024. All rights reserved.