Apache Spark Structured Streaming 中 Spark UI 上的查询和阶段卡住了
我在 EMR 集群 (6.14) 上使用 Apache Spark Structured Streaming (3.1.2)。 Spark 结构化流将数据从 Apache Kafka 流式传输到 Delta Lake 表。当我打开 Spark UI 时，我看到以下内容
我正在尝试使用“camel-azure-storage-datalake-kafka-connector”从 Kafka 连接到 Azure ADLS Gen2 我有一个运行 Docker 的 Linux 机器，其中包含 debezium/zookeeper、debezium/kafka 和 debe...
我是 Kafka 和设置 Kafka UI 的新手，尽管我在最后的 docker 和 docker-compose 上设置了先决条件。 我最后有一个 3 节点 Kafka 集群设置。 下面是 docker-compose...
如何在 Kubernetes multipod 部署中使用 spring kafka 处理 Kafka 容器生命周期
我正在使用 Spring kafka 实现，我需要通过 REST API 启动和停止我的 kafka 消费者。为此，我正在使用 KafkaListenerEndpointRegistry endpointRegistry 端点注册表。
Kafka Java Consumer Client 是单线程的吗
我们正在开始使用 Kafka， 在阅读本文时 - https://docs.confluence.io/kafka-clients/java/current/overview.html - 它似乎暗示客户端是单线程的。 * 由于这个...
如何使用 kafka msg key 作为 s3 连接器中的分区标准或 我怎样才能获得密钥并将其存储在 s3 对象中 谢谢！
我一直在使用下面的CMD从打开纯文本端口的Kafka队列中获取最新的偏移量 kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 服务器：9092 --topic
我正在尝试将元数据添加到 kafka 的输出到 S3 存储桶中。 目前，输出只是来自 kafka 主题的消息的值。 我想用下面的东西把它包起来......
即使部署在 kubernetes pod 上，kafka 主题仍然是不可变的吗？
我在 kubernetes pod 上部署了 kafka 主题和模式注册表，我尝试修改/更改 kafka 主题和模式注册表的清单文件，然后模式注册表的行为在
我创建了一个只有一个分区且在本地主机上没有复制的 kafka 主题，通过 kafka 控制台消费者和控制台生产者测试了消息传输，它工作正常，但在 tr...
使用 kafka-go 和循环平衡器时，数据始终进入分区 0
我正在使用 kafka-go 库将消息写入 Kafka。我正在使用循环平衡器，但数据始终进入分区 0。我尝试忽略所有消息的分区字段，但是...
我如何在本地运行假kafka主题（内存中）来测试kafka？
我尝试了一些依赖项，它期望安装docker或抛出运行时异常 我想在没有 Docker 设置的情况下在指定端口本地运行一个假 Kafka。 还有我的申请...
我想从Kafka获取数据，此方法成功获取记录但无法传递给变量。这是我的代码 公共无效 subscribeFromKafka() 抛出异常 { 列表结果=新
Apache Spark 中的 join 和 cogroup 有什么区别
Apache Spark 中的 join 和 cogroup 有什么区别？每种方法的用例是什么？
为什么在Windows环境下Apache IoTDB中运行`pip install`后出现`failed to build thrift`错误？
pip install apache-iotdb工具不支持Windows环境吗？在Windows中运行pip install apache-iotdb==0.13.0.post1后，出现错误消息：Failed to build thrift, ERROR: Could ...
在我的 SpringBoot Java 项目中，我使用的是 kafka，特别是 ReactiveKafka。我正在更新依赖项，特别是这些依赖项： springboot 2.6.6 -> 3.1.5 弹簧卡夫卡 2.8.0 -> 3.0.11 反应堆-
我是容器化新手。我正在尝试设置我的本地环境，我的 java 应用程序想要连接到 Kafka。无法使用 Docker，所以决定使用 Podman。我有三个容器在同一个上运行
Spring Boot 3.1.X及以上版本的Kafka客户端连接问题
我最近将我的一项 Spring Boot 服务升级到 3.1.x，升级后我遇到了 kafka 问题。它似乎无法连接并不断向我提供以下日志。 2024-01-03T06:18...
有没有办法将AWS Cloudwatch日志输入Kafka主题
我正在努力寻找这方面的任何方向。我有一个内部系统可以处理日志以进行监控。我希望从 Cloudwatch 发送错误并在 kafka 主题上发布，其中...
我正在寻找一种从 Kafka 主题中删除（完全删除）已使用记录的方法。我知道有几种方法可以做到这一点，通过更改主题的保留时间或删除...
从 kafka 连接 API 获取任务 ID 以在日志中打印
我有一个kafka连接接收器代码，下面的json作为curl命令传递来注册任务。 如果有人知道如何获取我的连接的任务 ID，请告诉我。例如在
我们正在尝试在我们的项目中使用 kafka 流来从一个主题读取数据并写入另一个主题，并且我们有一个使用 KafkaHeaders 作为过滤某些记录的机制的用例。 例如，...
Apache Tiles 3.x 不再在 Spring 6.x 中编译，因为 javax.* 重命名为 jakarta。*
我的应用程序使用Spring 5.x，Apache Tiles 3.0.x。现在我想迁移到 Spring 6.x，但问题出在 Apache Tiles 3.0.x 上，因为它有 javax.servlet.* 而不是 jakarta.* 。所有春天...
apache-cassandra-4.0.7 Dockerfile 不可用异常
尝试从 apache-cassandra-4.0.7-bin.tar.gz 创建 docker 映像，但在配置密钥空间后出现以下错误 $ docker exec -it pidcss /bin/bash $ ./cqlsh localhost -u cassandra -p cas...
我有两个具有相同组ID的消费者服务器订阅了相同的主题。 一台 kafka 服务器仅运行一个分区。 据我所知，消息应该在这两个中随机消耗
具有手动偏移提交功能的 Kafka 消费者客户端一次只允许客户端
我目前正在使用一个Java Kafka消费者，它手动提交偏移量（enable.auto.commit = false），我发现即使我生成了多个实例，我发现这样的设置也是如此
如何将使用 apache FOP 创建的大量单独的 AFP 文件合并到单个 AFP 文件中？ 也欢迎任何工具建议。
为什么 Apache IoTDB 1.3 版本中的某些语句只能使用 `;` 标记执行？
当我在Apache IoTDB的Cli工具中执行语句时，为什么有些语句可以在添加之前执行；有的不用加;?就可以执行我刚刚下载了 Apache IoTD 1.3 版本...
Kafka 消费者在获取相关 ID 为 22 的元数据时出错：{FINSRVC_TOPIC_PROD=UNKNOWN_TOPIC_OR_PARTITION}
我的 springboot kafka 消费者微服务在我第一次在生产中部署并消费消息时工作正常。 我上周重新部署了微服务，做了一些小的更改，然后就可以了
如何仅删除已消费的消息以及如何在kafka主题中显示未消费的消息？
我们将一个项目从ActiveMQ迁移到Kafka。 过去我们向很多队列写入了太多的消息，消费完之后，ActiveMQ会自动删除消费的消息。仅未消耗
有没有办法解析 Apache Commons CLI 中选项对象中不存在的未知选项。 例如 - 我的参数是 --greeting hello --unknownArgument foo。 选项对象有
我一直在尝试使用pip安装命令在我的机器上安装apache airflow。我在虚拟环境中成功安装了airflow。当我尝试运行“airf...
Kafka 保留设置 - 如果所有消费者组都消费了一个主题，则从队列中删除
假设我有一个kafka队列和一个名为TOPIC的主题，并且我有两个消费者组CONSUMER1和CONSUMER2。我在 TOPIC 中添加了 1000 条数据。 Consumer1 有消费者 800 条数据，CONSUMER2 有
在结构化流 API 中跨多个集群使用共享 Kafka 主题执行 Spark 作业
我正在开发一个 Spark 项目，我需要在两个不同的集群上运行作业，两个集群都使用相同的 Kafka 主题。我希望这些作业能够有效地共享负载并平衡
apache beam 和 Big Query TableSchema 中的序列化问题
并感谢您的支持。 我目前正在尝试使用 Apache Beam，以尽可能多地了解它的工作原理。我面临 com.google.api.serv 序列化的问题...
我在 Apache 上使用 php 8.0 fpm 和 proxy_fcgi。 服务器版本：Apache/2.4.58（Ubuntu） 我有一个 PHP 脚本，需要大约 20 秒才能执行... 我想要一个进度条显示
Windows 上的 httpd.conf：找不到 API 模型结构 `php8_module`
我正在尝试按照这些指南在 Windows 上安装 PHP、Apache 和 MySQL。有时，系统会提示我编辑 httpd.conf 以指向我的 PHP 安装。 apache 目录和...
Java Apache 在“Content-Disposition:”中设置附加参数
我正在使用 java Apache 5.3.1，我正在尝试使用 XML 发送多部分，并且需要以下“Content-Disposition：”集 - 内容处置：表单数据；名称=“xml”；文件名=...
有什么理由使用 Apache HashCodeBuilder 而不是 Objects.hash 吗？
我正在重写对象的 hashCode 和 equals 方法。我正在使用 Apache Commons 库中的 EqualsBuilder 来覆盖 equals。由于我使用的是 Java 7，所以我打算使用 bui...
debconf：延迟软件包配置，因为未安装 apt-utils
我正在设置 Docker 来运行我的 CakePHP 应用程序，我的 Dockerfile 就像 来自 php:7.2-apache # 启用 Apache Rewrite + Expires 模块 RUN a2enmod 重写过期 # 安装依赖项 跑...
我正在使用 docker image 运行 apache superset 实例，UI 工作正常，我已成功创建数据源和仪表板，然后将其导出为 zip 文件。 我的问题是每当我尝试...
关于 mod_wsgi ModuleNotFoundError (dateutil) // python 3.11.4 64bit 和 apache 2.4.58 win64 VS17
我在Windows 11 Pro上使用mod_wsgi与python 3.11.4 64位和apache 2.4.58 win64 VS17。 我为每个人安装 python，而不仅仅是为我自己。 另外我不使用python virtualenv。 当我跑步时
我正在使用 Apache 服务器。 我想在访问 site.com/{URI} 时显示 site.com/site/{URI} 的内容，但我不想要任何重定向。我也无权访问配置文件，只能访问 .hta...
为什么 Apache IoTDB 1.3 版本中 DataNode 配置消失并报“无法拉取系统配置”警告？
我想启动独立的 Apache IoTDB 1.3 版本。集群管理已经启动，jps可以查看DataNode和ConfigNode，但是1分钟后DataNode就消失了。那个...
什么数据类型可以将空值写入 Apache IoTDB 1.0 版本？
我需要将一些空值写入 Apache IoTDB 版本 1.0。我想知道这个版本支持写入空值吗？或者什么数据类型可以支持这种写入空值的执行...
如何使用 Apache 和 Daphne 部署 django 通道？
我正在尝试部署这个使用通道的 django 应用程序。我使用 Apache 进行常规 HTTP 请求，并希望将 Web 套接字请求转发到 Daphne。 以下是我的一些重要文件： 阿帕奇...
如何在 Windows 上为不同的虚拟主机配置不同 php 版本的 Apache 配置
我正在 Apache 2.4 / Windows 10 的 httpd.config 中测试不同的语法，以便为不同的虚拟主机提供不同的 php 版本。 Domain1 应具有 PHP 8.1，Domain2 应使用 PHP 运行...
如何在 Apache poi 数据透视表中的列和值中使用相同的列
我正在尝试使用 Apache poi 创建数据透视表，除一种情况外一切正常。当我尝试在列和值（聚合器）中使用相同的列时，它不起作用。 例如...
如何设置分片`region`以避免在Apache IoTDB中报告`AsyncIoTConsensusServiceClient 113`类型错误？
Apache IoTDB 的分片区域是基于时间分片的吗？如何减少该区域的数量？我认为这个数量太多了，所以我报告了这个错误，但是如果我设置这个数量...
当Apache IoTDB中导出TsFile数据的sql语句较多时，为什么执行的结果却较少？
我想问一下，当在Apache IoTDB中使用TsFile导出工具时，我的sql文件中有40条sql语句，但只导出了3个TsFile。这是什么原因呢？导出工具有没有...