Oozie是一个用于管理Hadoop Map Reduce作业的工作流/协调系统
我正在尝试配置 Apache Oozie 工作流程以根据一周中的某一天执行不同的操作。阅读完 https://stackoverflow.com/questions/71422257/oozie-coordinator-get-day...
使用 Oozie 在 AWS EMR 上进行 Apache Crunch 作业
上下文: 我想在 AWS EMR 上运行 apache crunch 作业 此作业是 oozie java 操作和 oozie 子工作流管道的一部分(此特定作业是子工作流的一部分)。在 oozie 我们有...
RemoteException(org.apache.hadoop.ipc.StandbyException):待机状态下不支持操作类别READ
如果您想知道我是如何解决的,请转到这里。 我有一个 oozie 工作流程。里面有一个shell动作。 ...
oozie rest api 用于特定作业名称(又名应用程序名称)
我正在尝试使用 Rest API 获取特定作业的工作流程信息。 http://xxxxx:11000/oozie/v1/jobs?appName=oozie_job_1 这将返回所有作业以及 oozie_job_1。我想...
我已经使用oozie有一段时间了,我想杀死一个协调员,但我不想杀死由协调员启动的工作流程。 我为什么要这么做?我有一个场景
尝试执行“bin/mkdistro.sh -DskipTests”时出现 Oozie 错误
尝试按照http://www.thecloudavenue.com/2013/10/installation-and-configuration-of.html安装oozie 4.0.1 hadoop 版本 - 2.4.0 行家 - 3.0.4 sqoop - 1.4.4 在尝试执行时...
执行目标org.apache.maven.plugins失败:maven-assemble-plugin(GroupId不能为空)
我对maven和Oozie非常陌生,当我使用命令时, ./mkdistro.sh -DskipTests -Dmaven.javadoc.skip=true 从 Oozie-3.3.2 bin 文件夹构建 oozie,我收到一些错误消息...
重命名 Hive 表中的列时,它会在部署之前删除该列先前数据的所有值
我们刚刚继续部署一个基于 Hive 的表。我们将列risk_old重命名为risk_new(重命名)。该表按周期分区。然而部署后,我们看到了一个奇怪的情况
当底层作业成功完成时,Oozie 工作流程在 Hive 作业上给出错误
自学的一部分我正在探索Oozie,并且正在Hortonworks Sandbox VM上练习。问题是,当底层作业给出时,Oozie 工作流程会出错并被杀死......
Sqoop 通过 bash 工作,但不能通过 oozie 工作
我有一个shell脚本 sqoop 导入 \ -Dmapreduce.job.queuename=adhoc \ --connect jdbc:oracle:thin:secret@//秘密\ --query“选择”\ --target-dir /apps/hive/warehouse/data.db/
在尝试安装 oozie 时,我运行命令 ./mkdistro.sh -DskipTests 但是第 25 个构建中的第 6 个失败,输出如下: 日志输出 1 日志输出 2 我该如何解决这个错误?是不是……
Oozie 发行版创建失败/在 Hadoop (AWS EC2) 上安装 Oozie
我正在努力更好地了解这里发生的事情。我对这一切真的很陌生。 Oozie-5.2.1 Hadoop-3.3.5 Java openjdk 版本“11.0.18” [信息] --------------< org.apache.
我使用以下命令向Oozie提交了一个任务: oozie job -config ${config_file}。-submit 我的工作被安排在每天5UTC运行(频率=1440)。我的问题是--如何触发...。
我们在Cloudera上有标准的日常摄取工作流。我正在寻找一种方法来重现一些原生的AWS行为,当使用ozie创建文件时触发spark作业。我发现输入事件,...
我有一个需求,工作流是按需运行的,但有一个任务(curl命令)在未来的时间被触发。
在集群模式下随机运行spark作业时,应用主站被yarn杀死。
错误日志如下。200510 18:40:47 ERROR yarn.Client: 应用程序诊断信息。应用程序application_1588683044535_1067失败了2次,由于AM容器为...
我有一个spark应用程序,我运行命令usrhdpspark2-clientbinspark-submit \ --name 'App' \ --class 'someFolder.SomeApp \ --master "yarn" \ --deploy-mode "cluster" \ -- ...
Oozie spark-submit, `--driver-cores`参数不起作用。
我在从ozie提交火花时,--driver-cores选项不起作用。举个例子,如果我提供了--driver-cores 4,yarn仍然为driver创建一个vCore容器。Spark Opts在ozie中。