Amazon Kinesis是一种全面管理的服务，用于大规模实时处理流数据。
PySpark 流式传输与 AWS Kinesis Datastream 连接
我正在尝试将 AWS Kinesis Data Stream 读入 PySpark sql 数据帧。 这是我的Python代码 将 pyspark 导入为 ps 火花=（ ps.sql.SparkSession.builder .config(地图= { '火花...
我正在尝试使用 AWS Glue Streaming ETL 作业使用触发器进行读写。AvailableNow 与 Kinesis Data Streams 一起使用，就像我与 Kafka 一起使用一样，但没有处理任何记录，并且所有检查点文件都有
AWS Glue 流 + Kinesis + 触发器现已推出
我正在尝试使用 AWS Glue Streaming ETL 作业使用触发器进行读写。AvailableNow 与 Kinesis Data Streams 一起使用，就像我与 Kafka 一起使用一样，但没有处理任何记录，并且所有检查点文件都有
如何确保数据修改事件以正确的顺序传递到SQS或Kinesis？
我们假设以下情况： 有一个后端服务，它具有用于“插入”、“更新”和“删除”请求的 CRUD 端点。 每个端点更新关系...
将 AWS Kinesis Firehose 配置到特定 S3 文件夹
我正在尝试配置AWS Firehose以写入特定的s3目录。为此，在 Firehose 控制台的前缀部分，我给出了“Sample/”。附上屏幕截图。 即使在这之后...
Kinesis Stream 上 PutRecord 的 Lambda 函数 ETIMEDOUT 错误
我正在用 JS 编写一个非常简单的 lambda。其主要目的是从 SQS 获取消息（我从 AWS 控制台手动触发），然后通过 put 记录发布到 kinesis 流。我...
我正在账户 A 中的 EKS 上运行容器，并且需要写入另一个账户（账户 B）中的 Kinesis 流（firehose）。 我正在使用 boto3，在本地运行时我使用用户 IAM 凭证集...
如何在不丢失数据的情况下部署 Kinesis Data Analytics
我们有一个复杂的 IoT 系统，其中 AWS Kinesis Flink 应用程序收集数据、处理数据并将新数据包转发到另一个系统。我们收集了很多小数据，比如来自
如何使用 Cloudformation 将基于资源的策略添加到 AWS kinesis 流
我想从外部 AWS 账户写入 Kinesis，我设法通过向 kinesis 流添加基于资源的策略来做到这一点。有没有办法将基于资源的策略添加到 kinesis 流 u...
Kinesis Firehose 到带有扩展名的 S3 对象名称
我正在将 JSON 数据流式传输到 Kinesis Firehose 中，然后将它们放入 S3 此自定义前缀：short_date=!{timestamp:yyyy-MM-dd}/。我知道 Firehose 不会将其识别为 JSON 数据...
AWS kinesis 信令通道：将视频录制到 aws s3
我有一个具体要求。我需要从网络浏览器记录我的网络摄像头。我可以使用 AWS Kinesis Signaling 通道流式传输我的网络摄像头。因此，我需要知道流媒体视频是否可以
如何使用 AWS DMS 中的“SchemaName.TableName”分区键将数据迁移到 Amazon Kinesis 数据流？
我正在尝试设置 DMS 将数据推送到 kinesis 流，并使用基于架构和表名称的分区键。目的是获取给定表命中单个分片的所有 cdc 事件，打赌...
Spark Kinesis Stream Scala 示例尝试遵循 Spark 文档，但不产生输出
我正在尝试使用 Spark 流处理来自 Kinesis 流的数据。 我使用 https://spark.apache.org/docs/latest/streaming-kinesis-integration.html 作为编写代码的参考 对象 TimeAndLa...
DynamoDb Kinesis Data Stream 订购保证
我正在研究 DynamoDb 流与 DynamoDb Kinesis Data Streams。 Kinesis Data Streams 文档如下： Kinesis 数据流记录的显示顺序可能与 i...
一个项目中有 2 个版本的 amazon-kinesis-client 库
我有一个项目使用“software.amazon.kinesis:amazon-kinesis-client:2.5.0”库相当长一段时间来消耗来自kinesis流的事件。 最近我们开始使用“org”。
通过 Kinesis Video Streams 将音频流式传输到 Amazon Connect
我想要实现的目标如下。 在 Amazon Connect 中，当我创建带有 Start Streaming Data 块的流时，它开始流式传输到 Kinesis Video Stream，我可以调用 lambda 函数...
每15分钟触发一次Lambda函数，通过设备ID处理Kinesis数据，计算平均值，并存储在DB中
我正在使用 AWS Kinesis Data Streams 和 Lambda 函数开发无服务器架构。我想实现以下目标： 以 15 分钟为单位从 Kinesis 流中读取数据，从 ...
用于将数据拆分和流式传输到多个第 3 方账户的 AWS 架构
毫无疑问，给猫剥皮的方法有很多种。但通常的一种比其他的要好。 如果我有一个由规则捕获并发送到 lambda 函数进行处理的数据流。拉姆达
在 Databricks 中调用一次 Trigger 来处理 Kinesis Stream
我正在寻找一种方法来触发我的 Databricks 笔记本一次来处理 Kinesis Stream 并使用以下模式 导入 org.apache.spark.sql.streaming.Trigger // 加载您的流数据帧 维...
我有一个连接到 AWS Kinesis 数据流的 AWS Lambda 函数。最近流中的数据量显着增加，但是 Lambda 的并发执行数量