Hadoop是一个Apache开源项目，为可靠和可扩展的分布式计算提供软件。核心由分布式文件系统（HDFS）和资源管理器（YARN）组成。各种其他开源项目，例如Apache Hive，使用Apache Hadoop作为持久层。
增加复制因子是否会增加 HDFS 中名称节点的内存使用量？ 此链接指出复制因子对名称节点内存使用没有影响，但另一个链接指出不然。
Docker Hive - /entrypoint.sh：第 4 行：pg_isready：找不到命令
我已经设置了三个联网的容器，因为我想将 Hadoop 和 Hive 与 PostgreSQL 一起使用。您可以通过 https://github.com/jcool12/hadoop-docker/tree/main/hi 访问设置的 docker...
在 Windows 11 上，我安装了最新可用版本的 Docker Desktop。之后，我访问了官方 Apache Hadoop GitHub 存储库：https://github.com/apache/hadoop/tree/docker-had...
hadoop/hdfs/name 处于不一致状态：存储目录(hadoop/hdfs/data/)不存在或不可访问
我已经尝试了 stackoverflow 上提供的有关此主题的所有不同解决方案，但没有帮助 再次询问具体的日志和详细信息 任何帮助表示赞赏 我有一个主节点...
需要使用 Kafka Connect 将小型 JSON 消息从 Kafka 移动到 HDFS，但不使用 Confluence 库（如果不是完全免费的话）
我想使用 Kafka Connect 将 JSON 消息从 Kafka 移动到 HDFS，然后移动到 Impala，仅使用开源库。 我试图了解是否可以使用 Kafka Conn 的 Confluence Sink 库......
早上好，我想创建一个从某个 URL 到我的 HDFS 的 Nifi 流。我使用我的个人构建和 Dockerfile 在本地创建了 HDFS 集群，它正在工作，但是当我尝试使用
Uber 模式配置设置已对齐，但作业不在 Uber 模式下执行
根据 Hortonworks 的文档，在“uber 模式”下执行 Hadoop 作业的方法是配置 maprep-site.xml 设置，如下所示： <
我的 HDFS 上有一个 shapefile，我想使用 geopandas（版本 0.8.1）将其导入到我的 Jupyter Notebook 中。 我尝试了标准的 read_file() 方法，但它无法识别 HDFS 目录...
我正在使用org.apache.hadoop.fs来检查HDFS中的目录是否为空。我查找了 FileSystem api，但找不到任何接近它的东西。基本上我想检查目录是否...
Hive 安装问题：Hive Metastore 数据库未初始化
我尝试在树莓派2上安装hive。我通过解压缩压缩的Hive包来安装Hive，并在我创建的hduser用户组下手动配置$HADOOP_HOME和$HIVE_HOME。跑步时嗨...
Hadoop 2.6 Mapreduce 权限在 Windows 上设置不正确
我在Windows上安装了Hadoop 2.6作为一些依赖于Hadoop的软件的测试平台。据我所知，安装工作正常。我将 Hadoop 保存在 C:\Hadoop 中，我的节奏...
我在配置单元中有 orc 表，我想从此表中删除列 ALTER TABLE 表名 drop col_name; 但我收到以下异常 执行配置单元查询时发生错误：确定失败：
在WEBHDFS REST Api中启用跨域访问以供JavaScript使用？
我尝试从 Webhdfs Rest api 获取 liststatus，但出现以下错误。 XMLHttpRequest 无法加载 http://:50070/webhdfs/v1/?op=LISTSTATUS。没有“访问-控制-允许-或...”
Parquet文件覆盖压缩优化时如何保证Spark查询的原子性和数据完整性？
我有一个 Spark 设置，其中存在包含原始 Parquet 文件的分区，并且查询正在这些分区上主动运行。 我正在运行后台作业来优化这些 Parquet 文件以获得更好的效果
我对 Hive 存储数据的位置有点困惑。 它将数据存储在 HDFS 还是 RDBMS 中？ Hive Metastore 是否使用 RDBMS 来存储 Hive 表元数据？
使用 pyspark，并下载了 hadoop-aws:3.3.4，我仍然收到“方案“s3”没有文件系统”错误
我在本地工作，使用以下方法构建spark_session： 生成器 = SparkSession.builder \ .master("本地[8]") \ .appName("test_app") \ .config("sp...
我在ubuntu中安装了hadoop，当我运行以下命令时： 须藤苏 hduser cd /usr/local/hadoop/etc/hadoop sudo rm -R /应用程序/* sudo rm -R /tmp/* hadoop namenode-格式 启动-dfs.sh &&
我正在使用logstash 将 HDFS 审核日志消息填充到 Kafka 主题中。 我在 Kafka 主题中收到的示例消息具有以下格式： allowed=true ugi={myuser} (auth:SIMPLE) ip={/x.x.x...
现在我想加载保存在路径中的spark管道模型（C:\Users\ASUS\Desktop\kaggl