Amazon Kinesis是一种全面管理的服务,用于大规模实时处理流数据。
我的 pyflink 应用程序需要以下 jar 依赖项。 flink-s3-fs-hadoop-1.15.2.jar flink-sql-parquet-1.15.2.jar flink-s3-fs-presto-1.15.2.jar 我想打包部署到AWS K...
AWS Step Function 成为 AWS Kinesis Data Stream 消费者
我是 AWS 生态系统的新手,我正在尝试设计一个涉及将数据从 AWS Kinesis 数据流发送到 AWS Step Function 的 POT。我知道我可以创建一个 Lambda 函数来使用
在 describe-stream 下 AWS CLI 中的 page-size 参数有什么用
我需要了解与 describe-stream AWS CLI 命令一起使用的页面大小参数的用途是什么? AWS 文档只是说 - 每页的大小 资料来源:Kinesis describe-stream @ docs.aws.
我们能否在 Kinesis Firehose 中使用 Lambda 配置架构,以便将 csv 格式的数据转储到 S3 存储桶中
Apache Parquet 或 ORC 格式数据有一个选项可以使用粘合目录表配置模式,这样可以更轻松地将来自 Dynamodb 表的数据映射到它们各自的列。
Amazon Kinesis 数据应用程序抛出“未授权执行:cloudwatch:PutMetricData”错误
我有一个运行 Apache Flink 1.13 项目的 AWS Kinesis 数据应用程序。我在附加到 IAM 角色的策略中提供了以下访问权限。我已验证 IAM 角色具有此 pol...
AWS EventBridge 规则能否以 Kinesis 数据流为目标(使用自定义事件,而不是 AWS 事件)?
在 EventBridge 中,我有一个带有 2 个规则的事件总线。 在 Kinesis 中,我有一个数据流。 其中一条规则将 CloudWatch 中的日志组作为目标。 第二条规则作为我在 Kinesis 中的数据流的目标。
我正在将服务从 spring cloud stream 2.0 升级到 3.1 以前为了发布到我拥有的 Kinesis 流 @成分 公共类 KinesisStreamService { 私人最终日志
我想保证运动流的顺序。该流包含通过 aws dynamodb 流生成的记录。根据aws参考文档,不能保证
我一直在努力寻找关于 AWS Kinesis 并发能力的准确信息。 到目前为止,我对 AWS Kinesis 的输入并发和输出并发的理解各不相同……
尝试跨 AWS 账户访问 Kinesis 流时出现拒绝访问错误
我正在尝试从另一个 AWS 账户上的 lambda 函数访问一个 AWS 账户上的 Kinesis 流。 lambda 函数尝试使用 Amazon.Kinesis 从 AWS 账户中提取数据。
如何将 S3 中的事件文件从 Kinesis 流拆分成小块?
我有一个收集器正在将事件写入我的 S3 存储桶,然后我需要使用 COPY 命令将这些数据加载到 AWS Redshift 中。这些事件来自 SendGrid 和大约 11 个主题,SendGrid 提供...
Amazon Kinesis Video GetMedia/PutMedia
我使用 python 3.6,我想使用 API 将视频流发布到 aws kinesis。 我使用 python aws 客户端创建流和 GetDataEndPoint 但是当我想用我的自定义请求发布我的数据时(PutM ...
我正在做一个使用 Django 的网站,该网站使用 AWS RDS Postgresql 作为数据库。目前,我想把数据库放在仪表板上,我可以从仪表板上看到数据库的实时变化...
我想为 Amazon Kinesis 创建一个 POC。 我在这篇文章的帮助下在 AWS 上创建了一个流和一些代码 http://seroter.wordpress.com/2014/01/09/data-stream-processing-with-amazon-kines...
对于我当前的用例,我正在使用 Kinesis 交付流/firehose 来流式传输 Firewall Manager 日志。所以目前的设置是 Kinesis 在账户 A(与防火墙管理器相同的账户)中,并且
Kinesis delivery Role开启服务端加密需要什么权限?还有一些关于 Kinesis 和 KMS 的额外问题
对于我当前的用例,我正在使用 Kinesis 交付流/firehose 来流式传输 Firewall Manager 日志。所以目前的设置是 Kinesis 在账户 A(与防火墙管理器相同的账户)中,并且
我是 java 和 mockito 的新手,试图模拟我的 //kinesisClient 是 KinesisAsyncClient 类型 PutRecordResponse 结果 = kinesisClient.putRecord(putRecordRequest).get(); 如下所示: KinesisAsyncCl ...
AWS Kinesis Firehose + Lambda:如何处理同时发生的多个记录创建/更新
作为 Kinesis Firehose 工作流的一部分,我有一个链接到我的 Kinesis 数据流的 Lambda 函数。 lambda 函数真正做的就是获取来自 DynamoDB 的序列化记录,并且
AWS Cloudwatch Logs 订阅过滤器以将日志发送到跨账户 Kinesis Stream
目前有一个设置,我们通过订阅过滤器将日志数据管道传输到运动流,以进一步分析应用程序的任何意外行为或调试任何错误。这是在...
Kafka-kinesis 连接器错误:无法启动任务 XXX-0 (org.apache.kafka.connect.runtime.Worker:652)
我正在关注 kinesis-kafka GitHub 站点上的教程 https://github.com/awslabs/kinesis-kafka-connector 到目前为止,我已经使用 maven 编译了 kinesis-kaka-connector.jar 类库,我是