Hadoop分布式文件系统（HDFS）是Apache Hadoop使用的默认文件存储系统。 HDFS创建多个数据块副本，并将它们分布在整个集群中的数据节点上，以实现可靠的计算，并计算商用硬件上的大量数据。
我有一个外部表，例如dump_table，它是按年、月、日分区的。如果我运行show create table dump_table，我得到以下结果。CREATE EXTERNAL TABLE `dump_table` ( `... )
flume在我要推送的hdfs文件中添加了一个随机数(test.csv > test.csv.1591560702234)
当我把一个文件放在本地目录下(vagrantflumetest.csv)，在HDFS中flume把它变成了(userinputstest.csv.1591560702234)，我想知道为什么HDFS增加了1591560702234，如何删除它! ...
我正在使用confluent-Kafka与python。我想将Kafka连接到Hdfs，并将一些特定的数据直接存储在Hdfs中。我找到了confluent HDFS连接器，但我不知道如何将它与我的...
我想了解MapR-FS中文件读写的解剖结构是什么？我上网查了很多，但没有得到明确的了解，在MapR-FS中文件读写的步骤是什么。我还...
Hive与Hadoop vs Hive与spark vs spark sql vs HDFS - 它们之间如何工作？
我有点困惑，我应该使用哪种组合来实现我的目标，我需要在HDFS中存储数据，并需要根据查询的数据进行分析。如果我使用...
从我的火花应用程序，我试图distcp从hdfs到s3。我的应用程序对数据进行了一些处理，并将数据写入hdfs，而这些数据我正试图通过descp推送到s3。我面临以下错误....
在greenplum pxf外部表格中，当从对象的json数组中获取元素时，得到空字符串。
在使用pxf json插件创建外部表访问json数据时，以多行json表为例，当使用以下列定义 "coordinates.values[0]"INTEGER时，很容易从......中获取8。
错误：无法从JAR文件中加载主类：loudacrekbKBDOC-00299.html 无法从JAR文件:loudacrekbKBDOC-00299.html中加载主类，Spark错误。
我已经使用以下StackOverflow问题中可用的答案，使用SparkContext.stop()，或sc.stop().即使这样，我也得到了以下错误。该文件存在于指定的 ...
为索引非常大的序列文件（数百万个键/值对，其中每个值可以具有不同的长度，因此您不能使用随机访问方案）的最佳库/方式是什么？
我有一个目录，例如/ user / name / folder。在此文件夹中，我还有更多名为dt = 2020-06-01，dt = 2020-06-02，dt = 2020-06-03等的文件夹。这些文件夹包含实木复合地板文件。它们都有...
我正在尝试运行以下命令来更新adls第1代中文件的访问控制列表，并且工作正常。 az dls fs访问设置条目--account dpreptestfiles --acl-spec用户：82095126-2a6c -...
spark.read.parquet与pyarrow.hdfs.connect（）。read_parquet之间的区别是什么？
我有实木复合地板格式的hdfs文件，有两个选项可以读取它：spark.read.parquet（hdfs_path）pyarrow.hdfs.connect（）。read_parquet（hdfs_path）请问我之间有什么区别。 。
鉴于HBase是一个数据库，其文件存储在HDFS中，它如何实现对HDFS中单个数据的随机访问？用哪种方法完成？来自Apache HBase ...
即时通讯是apache环境中的新功能，它让我真的很纳闷。我的kafka是通过ambari安装的。因此一切都可以通过ambari的GUI启动。当通过ambari安装kafka时...
我正在尝试将hadoop与ELK堆栈集成。我的用例是“我必须从HDFS路径中存在的文件中获取数据并在kibana仪表板上显示内容” Hive在那儿无法正常工作，因此我无法...
Sqoop是否可以在数据类型为timestamp（6）的加载时间的基础上对Teradata进行增量加载？在hdfs中加载时如何处理格式：sql exxeption：-期望...
如果大数据导入作业之间的同步失败，将会发生什么情况。它会在作业失败发生之前将某些数据复制到hdfs上还是完全不复制任何内容？
当分区值是动态的时，如何使用sed / grep / awk从HDFS路径中提取分区值
我正在尝试将hdfs路径中的分区值保存到不同表的文件中，尝试使用sed拉最后8位数字，但由于分区值发生了变化（有时可能是YYYYMMDD ...
我有一个小型集群，其中一个节点具有RAID存储，还有几个功能强大的无盘计算节点，它们通过PXE引导。所有节点均通过InfiniBand（以及用于引导的1G以太网）连接。我需要...
我已经为我的应用程序配置了水槽代理，其中源是Spooldir，接收器是HDFS，我能够在hdfs中收集文件。代理配置为：agent.sources = src-1 agent.channels = c1 ...