Hadoop分布式文件系统（HDFS）是Apache Hadoop使用的默认文件存储系统。 HDFS创建多个数据块副本，并将它们分布在整个集群中的数据节点上，以实现可靠的计算，并计算商用硬件上的大量数据。
我是新手，我有一个问题。我有一个两步过程，第一步是将SUCCESS.txt文件写入HDFS上的某个位置。我的第二步是火花工作必须验证是否......
我有一个包含超过千条记录的HDFS目录，其中包含不同的文件名。我必须根据文件名计算文件。由于我有数千个文件，我不能给出具体的...
我正在尝试部署一个独立版本的hadoop 2.5.0。但Datanode无法启动。日志打印：2014-10-20 13：42：13,288致命org.apache.hadoop.hdfs.server.datanode.DataNode：异常...
我应该把程序放在HDFS上还是保持本地化？我在谈论一个二进制文件：由spark-submit启动每天执行执行火花图减少RDD / Dataframes上的函数是一个JAR ...
我想加载像path这样的数据：hdfs：// dcoshdfs / encrypt_data / gmap_info / 2019-02-04 / * / * hdfs：// dcoshdfs / encrypt_data / gmap_info / 2019-02-05 / * / * hdfs：// dcoshdfs / encrypt_data / gmap_info / 2019-02-06 / * / * hdfs：/ ...
我正在尝试使用Data Lake Gen2预览创建Storage v2帐户，但它已从Azure向导中禁用。据我所知，它应该适用于此设置？
为了访问hdfs。我不知道在root用户中给出了以下命令。（我曾尝试解决以下错误）sudo su - hdfs hdfs dfs -mkdir / user / root hdfs dfs -chown root：hdfs / user / ...
我正在使用hdfs dfs -put myfile mypath和一些文件我得到：'myfile'：文件存在这意味着有一个同名的文件或者这意味着相同的文件（大小，内容）...
如果我的一个数据超过块大小，hadoop将如何拆分数据？例如。数据（谈论单个记录）我存储的大小为80 mb，块大小为64 mb，所以如何...
我需要在hdfs目录中找到文件或文件夹的创建日期。例如：hadoop fs -ls / user / myUser /我在路径/ user / myUser /中得到一个文件和目录列表，其中包含...
如何修复spark unsafe.types.UTF8String.numBytesForFirstByte抛出java.lang.ArrayIndexOutOfBoundsException？
当我使用sparkSql接口从HDFS读取数据时，一些任务抛出java.lang.ArrayIndexOutOfBoundsException。我认为数据集中可能存在一些不良记录，导致任务失败。 ...
当更改到新的一天的目录后，Flume在HDFS中留下.tmp文件
我正在使用Flume 1.7.0和HDFS接收器。我将Flume配置为将数据放入HDFS的日期目录中，以便在新的一天到来时自动更改目录。问题是我设置了水槽......
对于命令，-copyFromLocal有一个带-f的选项，它会强制将数据从本地文件系统复制到Hdfs。与-copyToLocal选项类似，我尝试使用-f选项但是，它没有......
使用hadoop fs -put命令编写300 MB文件，HDFS块大小为64 MB。在此命令完成写入200 MB此文件后，其他用户在尝试时会看到什么...
Spring Cloud Dataflow - http |卡夫卡和卡夫卡| hdfs - 在HDFS中获取原始消息
我在SCDF（本地服务器1.7.3）中创建基本流，其中我正在配置2个流。 1. HTTP - > Kafka主题2. Kafka主题 - > HDFS流：流创建--name ingest_from_http --...
我一直在玩Cloudera，我在开始工作之前定义了簇的数量，然后使用cloudera管理器确保一切都在运行。我正在开发一个新项目......
我已经建立了一个非常简单的Hadoop集群，其中包含3个虚拟机 - 一个充当NameNode，另外两个充当数据节点。我使用format命令创建了HDFS文件系统，一切正常....
我开始需要使用以下命令备份整个hadoop datanode数据目录：hdfs dfs -copyToLocal / var / hadoop / dfs / name / data / home / ubuntu / hadoopfiles我收到一个错误：“没有这样的文件opr ...
我试图找到在Hive和HDFS中实现以下管道的最佳方法：我想要摄取一个csv（到目前为止没有问题）但是，我想要从一个字段制作分区...