Amazon Kinesis是一种全面管理的服务,用于大规模实时处理流数据。
Kinesis 序列号在流中唯一还是每个分片和每个分区键唯一?
文档在这方面是冲突的。 PutRecords 文档说: SequenceNumber 参数是分配给放置记录的标识符,对于流中的所有记录都是唯一的。 ...
我需要接收实时 MQTT 数据,将它们存储在 AWS 云中,并在单独的基于 Web 的应用程序中使用这些数据提供见解。在这个要求中,是不是更好...
我正在研究使用 Flink 和 Kinesis 流作为源。我想使用事件时间水印。 计划在 AWS 托管的 Flink (Kinesis Analytics) 平台上运行它。 看着...
假设我有两个流,staging 和 prod。 我还有一个使用 boto3 与 Kinesis 交互的 AWS Lambda 函数。这里的约束是 Lambda 应该只能交互...
DynamoDB CDC 事件排序 - Kinesis Data Streams 与 DynamoDb 流
阅读 DynamoDB cdc 流的文档,有一个表格列出了使用 Kinesis Data Streams 和 DynamoDB 流之间的一些差异。 “记录排序”&qu...
在物联网传感器数据的 DynamoDB Streams 和 Kinesis Streams 之间进行选择
我有一个由 250 个支持 Wifi 的物联网传感器组成的队列,用于传输重量数据。每个设备每秒采样一次。我在选择 AWS DynamoDB Streams 与 AWS Kinesis Streams 之间寻求帮助...
我有一个 scala kinesis 应用程序,我正在尝试使用 xray 对其进行检测。 它在本地运行良好(在运行 xray 守护程序时)但它在 AWS 中没有显示任何痕迹。它可以完全访问 xray,...
我正在尝试在 AWS CLI 上创建一个 Kinesis 传输流,根据字段 created_at 对输出进行分区,这是一个字符串。我收到以下错误消息: 发生错误(
我有一个 s3 桶,里面有一些 10M 的对象,所有这些对象都需要处理并发送到 opensearch。为此,我正在评估 kenisis 是否可以用于此目的。 网上的解决方案似乎暗示使用
订阅分片后无法从kinesis-data-stream读取数据
我有一个运动数据流,其中 1 个分片只有一些数据,我目前正在通过订阅我的 nodejs 应用程序中的分片从中读取数据,但我无法这样做,因为它给了我这个
Spark Structured Stream - Kinesis 作为数据源
我正在尝试使用 psypark 结构化流来消耗运动数据流记录。 我正在尝试在 aws 胶水批处理作业中运行此代码。我的目标是使用检查点并将检查点和数据保存到...
在两个不同的翻滚时间窗口中从 Kinesis 数据流(或任何数据流)读取
我有一个 Kinesis 数据流,我正在使用滚动窗口使用数据。我有两个用例,一个是在 5 分钟的翻滚窗口中使用数据,另一个是 1 分钟的翻滚窗口......
我正在尝试使用 Kinesis 客户端库来使用来自 Kinesis 数据流的数据。我正在尝试熟悉 Kinesis 的概念。它没有在哪里谈论 Lease 概念,而是直接跳到我...
AWS Kinesis Firehose Delivery 流发送 protobuf
我看到这个关于 Amazon Kinesis Firehose 到 S3 with Protobuf 数据的 SO,这是 5 年前被问到的。 只是想知道 Amazon Kinesis Data Firehose 是否有任何改变,现在是否可以改变
对多个事件源使用 RequestStreamHandler 并在批处理失败时拆分
我有一个用例(场景 1),我有一个 lambda,它侦听来自 DynamoDB 变化的运动流,如果在处理我返回的那批运动流中的任何记录时出现错误...
我无法将我的相机流式传输到 kinesis。似乎 gstreamer 忽略了 RTSP 链接的最后一个参数(在“&”之后),这可能是导致问题的原因。 当我尝试这个 com...
为什么 KenisisClient.putRecord() 不接受有效的 PutRecordRequest
这是我的代码 KinesisClient kinesisClient = KinesisClient.builder().build(); PutRecordRequest putRecordRequest = new PutRecordRequest(); putRecordRequest.setStreamName("str...
当应用程序关闭/进入睡眠状态时,如何使用 kpl 将记录作为批处理发送到运动流?
关于申请: 我有一个部署到 AWS Fargate 服务的 spring 应用程序。此应用程序使用来自 SQS 队列的数据。然后,应用一些逻辑并将这些数据发送到 Kinesis Stream。
我的 pyflink 应用程序需要以下 jar 依赖项。 flink-s3-fs-hadoop-1.15.2.jar flink-sql-parquet-1.15.2.jar flink-s3-fs-presto-1.15.2.jar 我想打包部署到AWS K...
AWS Step Function 成为 AWS Kinesis Data Stream 消费者
我是 AWS 生态系统的新手,我正在尝试设计一个涉及将数据从 AWS Kinesis 数据流发送到 AWS Step Function 的 POT。我知道我可以创建一个 Lambda 函数来使用