amazon-kinesis 相关问题

Amazon Kinesis是一种全面管理的服务,用于大规模实时处理流数据。

AWS Kinesis 数据分析

我正在关注此博客https://docs.aws.amazon.com/kinesisanalytics/latest/java/examples-python-sliding.html来创建示例应用程序。启动应用程序后,我收到以下错误: {...

回答 1 投票 0

尽管启用了压缩,Firehose 流仍以未压缩格式传送到 S3

我有 Lambda 函数,可将 put 的 JSON 字符串定向到 Firehose 流,以将批量记录传送到 S3,并且我希望将这些记录作为压缩的 .gz 文件传送。 然而,尽管有

回答 1 投票 0

Terraform:在以 s3 作为目的地的 Firehose 流中,无法找到新行分隔符启用选项

Terraform :在以 S3 为目标的 Firehose 流中,用于启用“新行分隔符”的 terraform 等效参数是什么。仅供参考,没有动态分区,没有 lambda....

回答 1 投票 0

AWS Kinesis Data Stream 到 SQS

我需要将某些 Kinesis Data Stream 事件发送到 SQS 队列,但据我所知,Kinesis Data Stream 无法直接填充队列(据我所知,KDS 不能成为 SQS 的事件源...

回答 1 投票 0

通过 Web 客户端将事件数据推送到 AWS Kinesis Firehose

我有一个非常简单的用例,即从 Web 浏览器推送事件(单击事件)并使用 AWS kinesis 将数据存储到 S3。我对流数据摄取有点陌生,所以我不明白其中的含义...

回答 1 投票 0

PySpark 流式传输与 AWS Kinesis Datastream 连接

我正在尝试将 AWS Kinesis Data Stream 读入 PySpark sql 数据帧。 这是我的Python代码 将 pyspark 导入为 ps 火花=( ps.sql.SparkSession.builder .config(地图= { '火花...

回答 1 投票 0

没有记录被处理并且所有检查点文件数据不一致

我正在尝试使用 AWS Glue Streaming ETL 作业使用触发器进行读写。AvailableNow 与 Kinesis Data Streams 一起使用,就像我与 Kafka 一起使用一样,但没有处理任何记录,并且所有检查点文件都有

回答 1 投票 0

AWS Glue 流 + Kinesis + 触发器现已推出

我正在尝试使用 AWS Glue Streaming ETL 作业使用触发器进行读写。AvailableNow 与 Kinesis Data Streams 一起使用,就像我与 Kafka 一起使用一样,但没有处理任何记录,并且所有检查点文件都有

回答 1 投票 0

如何确保数据修改事件以正确的顺序传递到SQS或Kinesis?

我们假设以下情况: 有一个后端服务,它具有用于“插入”、“更新”和“删除”请求的 CRUD 端点。 每个端点更新关系...

回答 1 投票 0

将 AWS Kinesis Firehose 配置到特定 S3 文件夹

我正在尝试配置AWS Firehose以写入特定的s3目录。为此,在 Firehose 控制台的前缀部分,我给出了“Sample/”。附上屏幕截图。 即使在这之后...

回答 1 投票 0

Kinesis Stream 上 PutRecord 的 Lambda 函数 ETIMEDOUT 错误

我正在用 JS 编写一个非常简单的 lambda。其主要目的是从 SQS 获取消息(我从 AWS 控制台手动触发),然后通过 put 记录发布到 kinesis 流。我...

回答 1 投票 0

无法从 EKS 容器写入 Kinesis

我正在账户 A 中的 EKS 上运行容器,并且需要写入另一个账户(账户 B)中的 Kinesis 流(firehose)。 我正在使用 boto3,在本地运行时我使用用户 IAM 凭证集...

回答 1 投票 0

如何在不丢失数据的情况下部署 Kinesis Data Analytics

我们有一个复杂的 IoT 系统,其中 AWS Kinesis Flink 应用程序收集数据、处理数据并将新数据包转发到另一个系统。我们收集了很多小数据,比如来自

回答 1 投票 0

如何使用 Cloudformation 将基于资源的策略添加到 AWS kinesis 流

我想从外部 AWS 账户写入 Kinesis,我设法通过向 kinesis 流添加基于资源的策略来做到这一点。有没有办法将基于资源的策略添加到 kinesis 流 u...

回答 1 投票 0

Kinesis Firehose 到带有扩展名的 S3 对象名称

我正在将 JSON 数据流式传输到 Kinesis Firehose 中,然后将它们放入 S3 此自定义前缀:short_date=!{timestamp:yyyy-MM-dd}/。我知道 Firehose 不会将其识别为 JSON 数据...

回答 3 投票 0

AWS kinesis 信令通道:将视频录制到 aws s3

我有一个具体要求。我需要从网络浏览器记录我的网络摄像头。我可以使用 AWS Kinesis Signaling 通道流式传输我的网络摄像头。因此,我需要知道流媒体视频是否可以

回答 1 投票 0

如何使用 AWS DMS 中的“SchemaName.TableName”分区键将数据迁移到 Amazon Kinesis 数据流?

我正在尝试设置 DMS 将数据推送到 kinesis 流,并使用基于架构和表名称的分区键。目的是获取给定表命中单个分片的所有 cdc 事件,打赌...

回答 1 投票 0

Spark Kinesis Stream Scala 示例尝试遵循 Spark 文档,但不产生输出

我正在尝试使用 Spark 流处理来自 Kinesis 流的数据。 我使用 https://spark.apache.org/docs/latest/streaming-kinesis-integration.html 作为编写代码的参考 对象 TimeAndLa...

回答 1 投票 0

DynamoDb Kinesis Data Stream 订购保证

我正在研究 DynamoDb 流与 DynamoDb Kinesis Data Streams。 Kinesis Data Streams 文档如下: Kinesis 数据流记录的显示顺序可能与 i...

回答 1 投票 0

一个项目中有 2 个版本的 amazon-kinesis-client 库

我有一个项目使用“software.amazon.kinesis:amazon-kinesis-client:2.5.0”库相当长一段时间来消耗来自kinesis流的事件。 最近我们开始使用“org”。

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.