我需要安装 hive 才能在我的机器上使用 sqoop 吗? 当我尝试将数据从 mysql 导入到 hadoop 时,它会抛出如下错误:
bhandarisamir@Lomass-MacBook-Pro ~ % sqoop import \
--connect jdbc:mysql://lord-MacBook-Pro.local:3306/employees \
--username root \
--password password \
--table employees \
--target-dir /user/hadoop/employees
23/11/16 23:41:06 错误工具.ImportTool:遇到 IOException 运行导入作业: org.apache.hadoop.ipc.RemoteException(java.io.IOException):文件 /tmp/hadoop-yarn/staging/bhandari/.staging/job_1700188909100_0001/libjars/mysql-connector-java-5.1.48.jar 只能复制到 0 个节点,而不是 minReplication (=1)。 有 0 个数据节点正在运行,并且没有节点被排除在外 操作。
我希望从mysql导入数据到这里http://localhost:50070/explorer.html#/。但没有成功。
是的,sqoop需要Hive,但是你的错误表明HDFS没有运行,所以如果没有健康的HDFS集群,Hive将无法工作
在运行任何 sqoop 命令之前,您需要查看名称节点和数据节点日志以了解连接问题