HDInsight是Microsoft Azure上提供的Microsoft大数据平台。
使用函数包装器Invoke-AzResourceAction cmdlet的问题。
我想为 Azure DataLake 访问设置 Azure HDInsight 的证书。我按照文章中的内容,使用Invoke-AzResourceAction cmdlet。我想知道,为什么代码的工作没有...
HDInsight集群与metastore使用powershell错误。
我试图使用Powershell脚本在Azure中使用Metastore创建HDInsight集群。但它正在抛出BadRequest.RegionCapabilityNotAvailable,。RegionCapabilityNotAvailable,Region capability not available for region '...
如何在Azure HDInsight集群中创建一个Pig Latin作业?
我刚刚创建了一个免费帐户到Azure和创建一个hadoop集群上HDInsight。然而,它无论如何也不会显示如何启动Pig客户端和创建猪拉丁作业并运行它?
我们是否可以在不使用时关闭 Azure HDInsight 群集以避免充电?
我在Azure HDInsight中创建了一个hadoop集群,然而,似乎没有任何选项让我在不使用时关闭集群,它在过去几天中产生了费用。任何人都知道...
在 Azure 中连接 tableau 和 hiveserver hdinsights。
我在azure中创建了一个HDinsights集群。我需要将Tableau桌面连接到hive。Tableau桌面是在我的本地。我是否需要创建一个虚拟网络,以便能够ping到hiveserver? ...
我必须基于Azure Blob存储文件夹中的JSON文件进行计算。我正在使用Azure HDInsight上的Apache Spark。此文件夹具有与跟踪相关的数字...
我是Azure HDInsight的新手。我正在尝试在HDInsight群集上安装presto。作为测试,我想运行TPC-H Query。这是我到目前为止所做的。我在Hive上加载了TPC-H表,我是...
我如何使用sqoop将数据从mssql导入hbase(使用Azure HDInsight)?
我正在尝试使用sqoop将数据表从mssql导入到hbase,我使用C#语言。我已按照本文的代码命令将数据导入到hbase:connectionstring:connectionString =“ jdbc:...
从Azure门户创建HDInsight群集时,使用SAS密钥附加存储帐户
[在创建HDInsgith群集时,如何从Azure门户使用SAS密钥指定其他存储帐户?它需要实际的存储密钥,而不是SAS密钥。理想情况下,我想这样做并导出一个...
错误:失败:获取锁时出错:与元存储库org.apache.hadoop.hive.ql.lockmgr.LockException进行通信时出错
尝试在分区表上运行count(*)时,获取锁时出错。在<= 350个分区上过滤时,该表具有365个分区,查询工作正常。当试图...
HDInsight群集如何作为HDFS映射到Azure存储?
我对Hadoop模型的工作原理有一个很好的认识,因为我研究了本地模型,因为这是每个人都可以学习的方式。从这个意义上讲,顶层的想法非常简单。我们有一组机器(...
我正在从Azure数据工厂运行PySpark脚本。我在下面的脚本/ Jar下的给定部分中提到了参数。参数是键值对。正在争论...
在按需hdinsight群集中的配置单元脚本中使用JsonSerDe
我已经编写了一个在现有HDInsight群集中运行良好的配置单元脚本。但是,当我通过按需群集中的Azure数据工厂实例化脚本时,出现以下错误:导致...
ERROR AzureNativeFileSystemStore:DirectoryIsNotEmpty
我正在尝试在Azure HdInsigth中执行此代码。我有一个与Data Lake Storage连接的集群Spark。 spark.conf.set(“ fs.azure.sas.data.spmdevsharedstorage.blob.core.windows.net”,“ ...
Apache直线在Hdinsight群集上抛出Java堆空间错误
[HDInsight上的Beeline失败,出现“ JAVA堆空间”错误hdiuser @ headnode0:〜$ beeline Beeline Beeline版本0.14.0.2.2.7.1-10,由Apache Hive beeline编写!!connect jdbc:hive2:// headnodehost:10001 admin。 ..
我正在使用HDInsight Spark集群运行我的Pyspark代码。我正在尝试从postgres表中读取数据并写入如下文件。 pgsql_df返回DataFrameReader而不是DataFrame。所以我...
我们有HDInsight群集,用户希望作为客户端访问Hive数据库和Hive表。我们正在寻找可以基于UI的基于客户端的应用程序,我们不想给他们Amabari URL ...
Azure HDInsight Jupyter和pyspark无法正常工作
我在azure上使用以下参数创建了一个HDInsight群集:Spark 2.4(HDI 4.0)然后我尝试使用PySpark Jupyter Notebook的Apache Spark HDInsights教程,它工作正常。 ...
使用Java代码将Azure HDInsight Spark应用程序链接到Azure EventHub
[如何使用JAVA代码在Azure HDInsight Spark群集应用程序中进行某些处理之后,编写代码以将消息从1个EventHub读取到另一个消息?]
如何将Spark结构化流连接到来自Azure Data Lake Storage Gen2或Blob存储的Blob /文件创建事件
我是Spark结构化流及其概念的新手。在这里阅读了Azure HDInsight群集的文档,并提到结构化流应用程序在...上运行。