如何在Azure HDInsight集群中创建一个Pig Latin作业?

问题描述 投票:0回答:1

我刚刚创建了一个免费帐户的Azure和创建一个hadoop集群上HDInsight。然而,它无论如何也不会显示如何启动一个Pig客户端,并创建猪拉丁作业和运行它?

azure apache-pig hdinsight
1个回答
1
投票

不幸的是,你不能使用Ambari用户界面运行猪拉丁作业。

请注意。 要使用Pig处理数据,将需要打开一个SSH控制台,连接到你的集群,然后使用本地模式或mapreduce模式运行pig latin。

如果你使用的是Windows客户端计算机。

  1. 在Microsoft Azure门户中,在HDInsight群集刀片上,为你的HDInsight群集点击Secure Shell,然后在Secure Shell刀片中,在Hostname列表中,注意你的群集的Host名称(应该是你的_cluster_name-ssh.azurehdinsight.net)。

  2. 打开PuTTY,在 "会话 "页面中,在 "主机名 "框中输入主机名,然后在 "连接类型 "下,选择SSH.Azurehdinsight.net。然后在连接类型下,选择SSH,然后点击打开。如果显示主机证书无法验证的安全警告,点击 "是 "继续。

  3. 出现提示时,输入您在配置群集时指定的 SSH 用户名和密码(不是群集登录用户名)。

如果您使用的是 Mac OS X 或 Linux 客户端计算机。

  1. 在 Microsoft Azure 门户中,在 HDInsight 群集刀片上为您的 HDInsight 群集单击 Secure Shell,然后在 Secure Shell 刀片中,在 Hostname 列表中,为您的群集选择主机名。然后复制显示的 ssh 命令,该命令应类似于以下命令 - 您将使用该命令连接到头部节点。ssh sshuser@your_cluster_name-ssh.azurehdinsight.net

  2. 打开一个新的终端会话,并粘贴ssh命令,指定你的SSH用户名(不是集群登录用户名)。

  3. 如果提示你在证书无法验证的情况下仍要连接,请输入 "是"。

  4. 当提示时,输入SSH用户名的密码。

一旦你连接到你的群集,到 跑猪 如图所示。

enter image description here

你可以执行Pig Latin语句。

  • 使用grunt shell或命令行
  • 在mapreduce模式或本地模式下
  • 互动式或批量式

参考资料。 养猪手册

© www.soinside.com 2019 - 2024. All rights reserved.