如何从命令行运行zeppelin notebook（自动）

Question

1. 我们如何从命令行运行笔记本？
2. 再进一步1，我如何将命令行参数传递到笔记本中？即从笔记本代码中访问命令行args？

Answer 1

所以我遇到了同样的问题，并设法解决了如何使用API​​运行使用curl的笔记本。至于传递命令行参数，认为根本没有办法做到这一点 - 你必须在服务器上使用某种共享状态（例如，从文件读取笔记本，并修改文件）。

无论如何这是我设法运行笔记本，它假设安装了jq。非常涉及:(

curl -XGET http://${ip}:8080/api/interpreter/setting | jq '.body[] | .id'

interpreter_settings_ids=`curl -XGET http://${ip}:8080/api/interpreter/setting | jq '.body[] | .id'`

id_array="["`echo ${interpreter_settings_ids} | tr ' ' ','`"]"

curl -XPUT -d $id_array http://${ip}:8080/api/notebook/interpreter/bind/${notebook_id}

curl -XPOST http://${ip}:8080/api/notebook/job/${notebook_id}

如果有人手动单击解释器绑定的“保存”按钮，则只需要最后一个命令。

更新：

好的我认为你可以循环探测正在运行的笔记本的状态，以确定笔记本是否失败，请参阅：https://github.com/eBay/Zeppelin/blob/master/docs/rest-api/rest-notebook.md

例如

function job_success {
    num_cells=`curl -XGET http://${ip}:8080/api/notebook/job/${notebook_id} 2>/dev/null | jq '.body[] | .status' | wc -l`
    num_successes=`curl -XGET http://${ip}:8080/api/notebook/job/${notebook_id} 2>/dev/null | jq '.body[] | .status' | grep FINISHED | wc -l`
    test ${num_cells} = ${num_successes}
}

function job_fail {
    curl -XGET http://${ip}:8080/api/notebook/job/${notebook_id} 2>/dev/null | jq '.body[] | .status' | grep ERROR
}

until job_success || job_fail
do
    sleep 10
done

Answer 2

从版本0.7.3开始，也许更早，Zeppelin有一个REST API，可以让你运行笔记本电脑。您的shell脚本可以使用curl来访问API。

API包括删除段落和在特定索引处插入段落的方法。这允许您将所有“参数”表示为段落0中的变量，然后在后面的段落中使用它们。按此顺序对REST API进行3次调用：

1. 删除笔记本的当前段落0。
2. 在索引0处插入包含变量赋值的新段落。
3. 运行笔记本。