Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。
我有以下 Flume 代理配置来从 kafka 源读取消息并将其写回 HDFS 接收器 tier1.sources = 源1 第 1 层.channels = 通道 1 tier1.sinks = 水槽1 1 级。
Flume netcat 无法从 python 套接字接收任何消息
这是我的flumeconf，请不要介意为什么sink被称为hive-sink但类型是hdfs。 Flume 可以接收来自 telnet 的消息，但不能接收来自 python 套接字的消息。 agent.sources = django-source 代理。
有人成功地将数据从 Flume 下沉到 Splunk 吗？ 我尝试过 Thrift 和 Avro 水槽，但它们有问题。对于 Splunk 来说不是很好的格式，Flume 不断尝试事件
我正在尝试从 AWS EC2 集群运行 Apache Flume 代理，但是当我启动代理时，它既不启动也不抛出明显的错误。 我只是从 Apache 的简单示例开始
我在 Flume 中使用 HTTPSource 来接收 json 格式的 POST 事件，如下所示： {"用户名":"xyz","密码":"123"} 我的问题是：我是否必须修改事件的来源（我的意思是...
如何添加sbt依赖性来实现pyspark和flume的整合？
我已经代表我尝试了这么多次，但我一次又一次地面临这个问题，有人能帮助我为pyspark和flume集成添加sbt依赖，下面是我的代码。spark-submit --...
我是Kafa和数据摄取的新手。我知道Kafka是容错的，因为它把数据冗余地保存在多个节点上。但是，我不明白的是，我们如何才能实现容错，在 ...
flume在我要推送的hdfs文件中添加了一个随机数(test.csv > test.csv.1591560702234)
当我把一个文件放在本地目录下(vagrantflumetest.csv)，在HDFS中flume把它变成了(userinputstest.csv.1591560702234)，我想知道为什么HDFS增加了1591560702234，如何删除它! ...
我正在处理这样的数据。{"a":1, "b":2}，我想让Flume给所有数据添加一个头，比如{"header":self_define, "content":{"a":1, "b":2}}。我看了一些关于Flume拦截器的资料，但似乎......
我想创建一个可以实时读取日志并使用apache spark处理它的系统。我是否应该使用类似kafka或水槽的东西将日志传递到火花流，还是应该...
我已经为我的应用程序配置了水槽代理，其中源是Spooldir，接收器是HDFS，我能够在hdfs中收集文件。代理配置为：agent.sources = src-1 agent.channels = c1 ...
以分布式方式进行二进制文件转换-Spark Flume吗？或其他任何选项
我们有一个场景，其中会有一个连续的二进制文件输入集（确切地说是ASN.1类型）。我们希望将这些二进制文件转换为XML或JSON等不同格式，然后写入...
我正在构建一个Spring Boot独立应用程序，该应用程序需要使用来自远程服务器的消息并将其写入Syslog服务器。我正在使用Flume嵌入式代理可靠地记录消息。但是...
FLUME [HADOOP_ORG.APACHE.FLUME.TOOLS.GETJAVAPROPERTY_USER：错误的替换]
我正在尝试运行典型的Flume第一个示例来获取推文，并使用Apache FLume将其存储在HDFS中。 [Hadoop版本3.1.3； Apache Flume 1.9.0]我已经配置了flume-env.sh：`export ...
我是第一次安装Flume。我正在使用hadoop-1.2.1和flume 1.6.0，我尝试按照本指南设置flume代理。我执行了以下命令：$ bin / flume-ng agent -n $ ...
我是Hadoop生态系统的新手，可以通过在线文章自学它。我正在从事一个非常基础的项目，以便可以动手实践所学内容。我的用例非常多：想法是我...
我在spark中加载hdfs文件并计算计数：spark.read.format（“ json”）。option（“ path”，“ xxx”）。load（）。count但是结果小于：hdfs dfs- cat xxx | wc -l hdfs文件正在保存...
我正在读取文本文件SMSSpamCollection作为水槽源，并将其发布到卡夫卡主题，该主题是水槽。 ＃代理名称：a1.sources = r1 a1.sinks =样本a1.channels = ...
我可以通过Flume将消息发送到kafka，但是如何将键值消息发送到kafka？例如我使用tailf日志文件作为源，如何发送键值消息？ ＃描述/配置源a1 ....