我想以这样一种方式自动化我的hive ETL工作流,因为内存限制,我需要在执行引擎(Tez或MR)的基础上执行hive作业。
请你帮忙,因为我想在我的整个工作流程之间进行交叉检查,这是我正在处理的执行引擎。
提前致谢。
执行引擎由hive.execution.engine
属性控制。您可以使用SET hive.execution.engine;
在hive shell上查看此配置的当前值。
要设置它,请使用SET hive.execution.engine=tez;
。
如果你想以编程方式获得这个值,你必须选择支持JDBC,Java,Python,PHP,Ruby,C ++等多种方式的HiveClient.Checkout https://cwiki.apache.org/confluence/display/Hive/HiveClient
对于java中的JDBC客户端,查询字符串将只是"SET hive.execution.engine;"
,它将返回包含所需值的ResultSet。