hadoop 相关问题

Hadoop是一个Apache开源项目,为可靠和可扩展的分布式计算提供软件。核心由分布式文件系统(HDFS)和资源管理器(YARN)组成。各种其他开源项目,例如Apache Hive,使用Apache Hadoop作为持久层。

将json数组导入hive

我正试图在蜂巢中导入以下json [{“时间”:1521115600,“纬度”:44.3959,“经度”:26.1025,“海拔”:53,“pm1”:21.70905,“pm25”:16.5,“ PM10 “:14.60085,” GAS1 “:0,” 气2 “:0.12,” GAS3 “:0,” ...

回答 4 投票 0

Intellij从hadoop集群访问文件

作为我的intellij环境设置的一部分,我需要连接到远程hadoop集群并访问本地spark代码中的文件。有没有办法连接到hadoop远程环境没有...

回答 1 投票 0

Apache zeppelin绑定模式

我对Zeppelin解释器的绑定模式有点困惑。我正在使用Zeppelin 0.7.2,据我了解,如果我配置一个具有“隔离”绑定模式的解释器,那么每个用户都会得到......

回答 1 投票 0

(Zeppelin + Livy)SparkUI.appUIAddress(),一定是错的

我正在尝试使用Zeppelin配置livy以下文档:https://zeppelin.apache.org/docs/0.7.3/interpreter/livy.html但是当我运行时:%livy.spark sc.version我得到了以下内容错误:......

回答 1 投票 0

HDFS为文件及其所有目录授予权限

我在HDFS中有以下数据(2个文件):/ a / b / c /f1.txt /f2.txt我想将f1.txt和f2.txt的权限更改为644:例如hadoop fs -chmod 644 /a/b/c/*.txt然而,在......

回答 2 投票 0

HBase例外

当我在伪群集模式下使用HBase时,我得到以下异常。如果有人可以解决这个问题来解决它org.apache.hadoop.hbase.client,那真的很棒。

回答 1 投票 0

无法启动Hadoop datanode。返回值:1

我创建了2个VM(主服务器和从服务器)我安装了hadoop组件(namenode,hdfs ..)它在主服务器上正常工作但在从服务器上我在启动datanode时遇到此错误:无法启动Hadoop ...

回答 1 投票 0

Oozie工作流导入失败

我正在研究Oozie自动化ETL,涉及100多个步骤。我能够在开发集群中成功创建工作流程。当我试图移动这个巨大的问题时......

回答 1 投票 0

以编程方式进行Hadoop HDFS写操作

我不久前问了一个类似的问题,但后来我不知道我在说什么。我发布此问题的详细信息和点查询。所以我设置了hadoop集群......

回答 1 投票 2

从文件到Spark Dataframe读取Jsons数组

我有一个包含JSON数组的gzip压缩文件,如下所示:[{“Product”:{“id”1,“image”:“/ img.jpg”},“Color”:“black”},{ “产品”:{“id”2,“image”:“/ img1.jpg”},“颜色”:“绿色”} .......我......

回答 2 投票 0

假冒Hadoop用户

我有一个代理应用程序,它通过与安全的Hadoop集群交互来接收请求并处理它们。我试图模仿最终用户(向我的代理应用程序发送请求)所以...

回答 1 投票 2

猪下面提到的数据的架构应该是什么?

({(b,c),(d,e)})我试过:(t1:元组(B1:Bag {(a:chararray,b:a:chararray)}));但没有运气。

回答 1 投票 0

如何在hdfs web ui中禁用“只读模式”?

我是Hadoop的初学者。这些问题与Hadoop 2.8.3版本的Web UI有关。如何禁用/更改WEB UI上的READ ONLY MODE(http:// localhost:50070)。我试着收到信息......

回答 1 投票 0

无法找到org.apache.hadoop.conf.Configuration

我正在进行java-maven项目。它将文件从本地复制到HDFS。我在我的pom.xml中有hadoop-common。仍然,它失败了以下错误:线程“main”java.lang中的异常....

回答 1 投票 0

没有这样的文件或目录与hdfs

当我执行$ ls时,我找到一个名为file_name.csv的文件但是,当我尝试执行$ hdfs dfs -put /home/user_name/file_name.csv tempfolder时(/ home / user_name /是file_name.csv所在的位置) ...

回答 2 投票 0

初始工作没有接受任何资源;检查群集UI以确保工作人员已注册并具有足够的资源

我正在尝试从Eclipse运行spark示例并获得此一般错误:初始作业未接受任何资源;检查您的群集UI以确保工作人员已注册并拥有...

回答 3 投票 2

如何通过automic以互斥的方式选择文件?

我们在很短的时间内从大型机接收到两个不同的文件。我们无法预测文件的到达顺序。这些文件应由两个不同的工作流程选择。但它应该......

回答 1 投票 0

由于java.io.IOException:nextKeyValue中的SQLException,Sqoop导入失败

我正在使用Sqoop import命令连接三个表数据并将数据从Oracle导入Hive。查找下面的表数据计数。从table1中选择count(*); - 40446561从...中选择计数(*)

回答 1 投票 0

如何在Hive中的所有表中找到特定的列名。

如何在Hive中的所有表中找到特定的列名?我在hive中运行了这个查询:select column_name,column_name from retail.columns,其中column_name类似'%emp%'; (零售是一个数据库)。 ...

回答 2 投票 3

sqoop进口实木复合地板尺寸

我的问题是,我有一个500k行的Oracle表。我设置sqoop将其作为镶木地板文件导入HDFS。我将--num-partition参数设置为32,然后我得到32个镶木地板文件,但是,一个......

回答 2 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.