Amazon Kinesis是一种全面管理的服务,用于大规模实时处理流数据。
如何在 Kinesis Firehose 中指定 JSON 对象之间的分隔符
据我了解,只要激活动态分区,就可以在Firehose上指定分隔符。您可以在动态分区下看到“新行分隔符”选项
在 kinesis 中使用 MultiStreamTracker 时出现 StreamIdentifier 错误
尝试在 kinesis 消费者应用程序中使用 MultiStreamTracker 时,我遇到 StreamIdentifier 错误。 java.lang.IllegalArgumentException:无法从 f 反序列化 StreamIdentifier...
检查点和应用程序版本与 AWS Managed Flink 不兼容
我有一个 AWS 托管 Apache Flink 应用程序。 我们有 2 个输入数据流和 2 个输出数据流。 每次我进行更大的更改(例如,我们更改输入和输出流上的数据格式......
如何显示 datadog 日志方面的值,作为 datadog 仪表板上的查询值小部件?
我目前正在通过 AWS Kinesis Firehose 将 json 数据从 AWS Lambda 发送到 Datadog。数据有键值对,例如 { "active_count": 10000, "deleted_count": 100, ....
我有一个 lambda 处理运动事件。 如果失败,Kinesis 可以重试 3 次。 lambda 正确处理事件,但被调用了 4 次。 我一直在寻找可能的原因,并且我...
我有一个包含 4 个分片的运动数据流。但是,当我使用以下命令时: aws kinesis 列表分片 \ --stream-name str...
我们可以使用 PostgreSQL 而不是默认的 dynamo 数据库来进行检查点和锁定,以防使用 Binder 方法从 Kinesis 消费数据吗
我有一个 Spring Boot 应用程序,它使用 Amazon Kinesis 来使用数据并将其保存到 PostgreSQL。 由于我已经在我的应用程序中使用一个数据库(PostgreSQL),我想避免使用另一个数据库
Amazon Kinesis Stream 名称未按照提供的 application.yml 文件获取
我有一个使用 Amazon Kinesis 来消费数据的 Spring Boot 应用程序。 它使用了错误的流名称 我需要使用的实际名称是:“test-test.tst.v1” 但它使用:“
我拥有中级 AWS 知识,并且遇到一个问题,我可以看到多种解决方法,并且我正在寻求更熟练的 AWS 架构师的意见。 我有一个本地系统,可以...
AWS Lambda 函数是否可以接收通用事件,然后确定它是哪种类型的事件?
我目前正在学习 AWS Lambda 以及如何从其他服务触发它。我已成功使用 SNS 主题(在本教程的帮助下)发布如下 json: { "name":"波杰克", “啦……
我有一个生成 RTSP 流的源。我正在将 RTP 数据包发送到 Amazon Kinesis Video Stream。我的客户端是一个网络浏览器,我想播放视频流。我如何转发流...
流式 SQL - 如何在简单的滚动窗口聚合中获取最后一条记录
环境 - AWS Kinesis Analytics(但我可以采用建议的任何流式 SQL 概念并将其应用到我的环境中) 我有这样的源数据不断流入: epoc_时间戳
lambda 函数如何知道已获取哪条 Kinesis 记录?
我有一个 lambda 函数,它消耗来自 Kinesis 流的事件。 当 lambda 前往流的分片获取记录时,它如何知道哪些记录已被获取,从而避免
lambda 函数如何知道新记录何时推送到 kinesis?
我 lambda 函数配置为使用来自 kinesis 流的记录。 lambda 如何知道何时推送新记录? 它会定期轮询运动流吗? 有没有什么触发因素
如何从物化视图中的 PARSE_JSON 中提取特定的键、值是 redshift
假设我期望以下 JSON: { “核心价值” } 我想创建一个将键显示为列的物化视图。数据来自 Kinesis Streaming Data s...
如何从 PARSE_JSON 中提取特定的键、值是 redshift
假设我期望以下 JSON: { “核心价值” } 我想创建一个将键显示为列的物化视图。数据来自 Kinesis Streaming Data。我
起始位置和检查点的组合在 Kinesis Data Streams 中如何工作?
我正在将 Glue Streaming 作业与 Kinesis Data Stream 结合使用。我希望我的胶水作业始终从最后一个未处理的记录中读取(以防作业出现故障并重新启动)。 相关代码- df =glueContext.
如何使用 Python boto3 客户端正确读取和检查具有多个分片的 Kinesis 流?
AWS Kinesis 似乎是为与 Lambda 一起使用而设计的,其分片的概念与带宽和延迟相关 - 但我试图从非 Lambda 服务中读取它,这是一个长期运行的进程......
我可以手动将运动流添加到每个区域的 DynamoDB 全局表中。我将流保留为特定于区域的流。使用 Cloudformation 模板添加时出现错误“资源
处理 AWS Kinesis 流中的所有数据是否需要从多个分片读取?
我正在使用 Python 的 boto3 客户端处理来自 Kinesis 流的记录,并且我能够找到的每个文档都仅从第一个分片读取。代码通常如下所示: 回复...