amazon-kinesis 相关问题

Amazon Kinesis是一种全面管理的服务,用于大规模实时处理流数据。

Kinesis 序列号在流中唯一还是每个分片和每个分区键唯一?

文档在这方面是冲突的。 PutRecords 文档说: SequenceNumber 参数是分配给放置记录的标识符,对于流中的所有记录都是唯一的。 ...

回答 1 投票 0

在 AWS 云中处理和存储实时 MQTT 数据的最佳方式

我需要接收实时 MQTT 数据,将它们存储在 AWS 云中,并在单独的基于 Web 的应用程序中使用这些数据提供见解。在这个要求中,是不是更好...

回答 1 投票 0

Flink Kinesis Consumer 上的水印策略

我正在研究使用 Flink 和 Kinesis 流作为源。我想使用事件时间水印。 计划在 AWS 托管的 Flink (Kinesis Analytics) 平台上运行它。 看着...

回答 1 投票 0

AWS Kinesis Boto3 IAM 权限

假设我有两个流,staging 和 prod。 我还有一个使用 boto3 与 Kinesis 交互的 AWS Lambda 函数。这里的约束是 Lambda 应该只能交互...

回答 1 投票 0

DynamoDB CDC 事件排序 - Kinesis Data Streams 与 DynamoDb 流

阅读 DynamoDB cdc 流的文档,有一个表格列出了使用 Kinesis Data Streams 和 DynamoDB 流之间的一些差异。 “记录排序”&qu...

回答 1 投票 0

在物联网传感器数据的 DynamoDB Streams 和 Kinesis Streams 之间进行选择

我有一个由 250 个支持 Wifi 的物联网传感器组成的队列,用于传输重量数据。每个设备每秒采样一次。我在选择 AWS DynamoDB Streams 与 AWS Kinesis Streams 之间寻求帮助...

回答 3 投票 0

xray 看不到 kinesis 应用程序

我有一个 scala kinesis 应用程序,我正在尝试使用 xray 对其进行检测。 它在本地运行良好(在运行 xray 守护程序时)但它在 AWS 中没有显示任何痕迹。它可以完全访问 xray,...

回答 1 投票 0

Kinesis Firehose 的动态分区

我正在尝试在 AWS CLI 上创建一个 Kinesis 传输流,根据字段 created_at 对输出进行分区,这是一个字符串。我收到以下错误消息: 发生错误(

回答 1 投票 0

s3 到 aws kenesis 到 opensearch

我有一个 s3 桶,里面有一些 10M 的对象,所有这些对象都需要处理并发送到 opensearch。为此,我正在评估 kenisis 是否可以用于此目的。 网上的解决方案似乎暗示使用

回答 2 投票 0

订阅分片后无法从kinesis-data-stream读取数据

我有一个运动数据流,其中 1 个分片只有一些数据,我目前正在通过订阅我的 nodejs 应用程序中的分片从中读取数据,但我无法这样做,因为它给了我这个

回答 0 投票 0

Spark Structured Stream - Kinesis 作为数据源

我正在尝试使用 psypark 结构化流来消耗运动数据流记录。 我正在尝试在 aws 胶水批处理作业中运行此代码。我的目标是使用检查点并将检查点和数据保存到...

回答 1 投票 0

在两个不同的翻滚时间窗口中从 Kinesis 数据流(或任何数据流)读取

我有一个 Kinesis 数据流,我正在使用滚动窗口使用数据。我有两个用例,一个是在 5 分钟的翻滚窗口中使用数据,另一个是 1 分钟的翻滚窗口......

回答 0 投票 0

AWS kinesis 中的“租赁”到底是什么

我正在尝试使用 Kinesis 客户端库来使用来自 Kinesis 数据流的数据。我正在尝试熟悉 Kinesis 的概念。它没有在哪里谈论 Lease 概念,而是直接跳到我...

回答 2 投票 0

AWS Kinesis Firehose Delivery 流发送 protobuf

我看到这个关于 Amazon Kinesis Firehose 到 S3 with Protobuf 数据的 SO,这是 5 年前被问到的。 只是想知道 Amazon Kinesis Data Firehose 是否有任何改变,现在是否可以改变

回答 0 投票 0

对多个事件源使用 RequestStreamHandler 并在批处理失败时拆分

我有一个用例(场景 1),我有一个 lambda,它侦听来自 DynamoDB 变化的运动流,如果在处理我返回的那批运动流中的任何记录时出现错误...

回答 0 投票 0

在 RTSP 链接中使用带参数的 Gstreamer

我无法将我的相机流式传输到 kinesis。似乎 gstreamer 忽略了 RTSP 链接的最后一个参数(在“&”之后),这可能是导致问题的原因。 当我尝试这个 com...

回答 1 投票 0

为什么 KenisisClient.putRecord() 不接受有效的 PutRecordRequest

这是我的代码 KinesisClient kinesisClient = KinesisClient.builder().build(); PutRecordRequest putRecordRequest = new PutRecordRequest(); putRecordRequest.setStreamName("str...

回答 1 投票 0

当应用程序关闭/进入睡眠状态时,如何使用 kpl 将记录作为批处理发送到运动流?

关于申请: 我有一个部署到 AWS Fargate 服务的 spring 应用程序。此应用程序使用来自 SQS 队列的数据。然后,应用一些逻辑并将这些数据发送到 Kinesis Stream。

回答 0 投票 0

如何在AWS KDA Flink应用中制作fat jar?

我的 pyflink 应用程序需要以下 jar 依赖项。 flink-s3-fs-hadoop-1.15.2.jar flink-sql-parquet-1.15.2.jar flink-s3-fs-presto-1.15.2.jar 我想打包部署到AWS K...

回答 0 投票 0

AWS Step Function 成为 AWS Kinesis Data Stream 消费者

我是 AWS 生态系统的新手,我正在尝试设计一个涉及将数据从 AWS Kinesis 数据流发送到 AWS Step Function 的 POT。我知道我可以创建一个 Lambda 函数来使用

回答 2 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.