amazon-kinesis 相关问题

Amazon Kinesis是一种全面管理的服务,用于大规模实时处理流数据。

Firehose 转换输出的格式化

我正在使用 AWS Kinesis Firehose 和自定义数据转换。 Lambda 使用 Python 3.6 编写,返回如下所示的字符串: { “记录”: [ { ”

回答 4 投票 0

在 AWS Kinesis 中看不到数据

我在 AWS Kinesis 中创建了一个流,简单明了: 我将记录放入流中(我从 AWS 文档中获取了脚本): 导入日期时间 导入 json 随机导入 导入boto3 STREAM_NAME = ...

回答 1 投票 0

Kinesis Firehose - 在转换记录时拆分为多个记录

是否可以选择在 Kinesis Firehose 中进行转换期间从单个输入记录创建多个记录并以 parquet 格式存储在 S3 中? 例如: { "key1": "值1&

回答 1 投票 0

Kinesis KCL 未从所有分片中提取记录

我已经配置了具有 4 个分片的 Kinesis 流,并作为使用者实现了 KCL 库版本 1。消费者仅从一个分片中提取记录(shardId-000000000000)。我也注意到了...

回答 1 投票 0

为什么无法识别 Kinesis Video Stream 的流名称(从 Amazon Connect 触发)?

在 Amazon Connect 中,我创建了一个带有 Start Streaming Data 块的流。我已验证呼叫会通过 Kinesis Video Streams 触发实时音频流。请参阅下面的 ARN(通过调用 AW 捕获...

回答 2 投票 0

IllegalArgumentException:需要 KinesisClient 中第 1 行的配置文件定义

我正在使用Java中的AWS SDK 2.x创建KinesisClient类的对象,如下所示 AwsCredentialsProvider凭据提供程序 = StaticCredentialsProvider.create( AwsBasicCredentials.create(&...

回答 2 投票 0

Flink 应用程序未接收和处理 Kinesis 连接器关闭时生成的事件

问题:Flink 应用程序无法接收和处理 Kinesis 连接器关闭时(由于重新启动)生成的事件 我们有以下 Flink 环境设置 环境

回答 3 投票 0

如何在Javascript SDK中解码来自kinesis.getRecords的数据?

我正在尝试从 Kinesis 数据流获取数据: 函数 getRecord(shard_iterator) { var getRecParams = { 分片迭代器:shard_iterator }; kinesis.getRecords(getRecParams,

回答 2 投票 0

在 Terraform 中添加 API 映射模板

我想在 AWS API Gateway 的集成请求中添加标头(内容类型)和映射模板。在学习本教程时,我可以通过控制台轻松添加这些参数。

回答 1 投票 0

是否有 Kinesis Video Streams 客户端从 Amazon Connect 提取实时音频块并推送到磁盘或网络的示例?

Amazon Connect 提供了实时音频流实时转录的示例(使用 Java)。然而,在该示例中,读取和转录音频块的逻辑是紧密交织的。 什么...

回答 2 投票 0

新连接错误:<botocore.awsrequest.AWSHTTPSConnection object at 0x7f17c56ebe80>

我正在 Ec2 实例中运行类似的脚本: https://github.com/aws-samples/kinesis-poster-worker/blob/master/poster.py 这是我的完整脚本: https://gist.github.com/nhammad/

回答 1 投票 0

为什么 Kinesis Streams Data Viewer 在通过 Amazon Connect 联系流进行呼叫后不显示任何代理事件?

问题:为什么我在数据查看器中看不到附加到 Amazon Connect 实例的 Kinesis Stream 的代理事件? 这是我所做的: 创建了 Kinesis 流。称之为 amzn-conn-agent-

回答 1 投票 0

如何通过指定开始和结束时间戳,使用 kinesis 或 kafka 中的 databricks 读取历史数据?

可以说我想读取2023年3月8日至2023年3月14日期间到达的数据 有没有一种方法可以定义结束位置以及下面的初始位置。 Spark.readStream.format...

回答 1 投票 0

Kinesis Firehose 拒绝 Lambda.InvokeAccess

我正在尝试使用 Firehose 传输流设置 Lambda 转换。我为 Firehose 定义了一个 IAM 角色,其中包括以下策略文档: { “陈述”: { ”

回答 4 投票 0

AWS Lambda 似乎在完成之前退出

我有一个非常简单的 lambda 函数(nodeJS),它将接收到的事件放入 kinesis 流中。这是源代码: '使用严格'; const AWS = require('aws-sdk'); const kinesis = ne...

回答 4 投票 0

Cloudwatch 订阅筛选器未摄取到 Kinesis Data Stream

我正在尝试使用订阅过滤器将 Cloudwatch 日志转发到 Kinesis Data Stream。 即使拥有广泛的权限,由于某种原因,我也无法在 Kinesis 中看到任何记录。 我可以看到我...

回答 1 投票 0

即使有足够的分片,Kinesis ProvisionedThroughputExceededException

我们在 Kinesis 流上写入数据时一直面临 ProvisionedThroughputExceededException 问题。 情况1: 我们使用单个 m4.4xlarge(16 核,64GB mem)实例在流 p 上写入数据...

回答 3 投票 0

从 Confluence Source Connector 记录更多数据

我在 AWS 中安装了 Kinesis Confluence Connector 插件,以将我的 Kinesis Stream 与我的 MSK 集群连接起来。它正在工作,但我在 Cloudwatch 中看到的日志记录不是很有帮助: [工人-

回答 1 投票 0

使用 Amazon Kinesis 客户端时,网站在高负载期间崩溃,打开连接数出现问题

因此,当使用 AmazonKinesisFireHoseClient 将记录放入 kinesis 时,我的网站在高负载期间崩溃。 我没有收到任何异常记录,它只是死掉了,您需要重新启动应用程序......

回答 2 投票 0

putRecords 后 AWS Kinesis 上没有数据

免责声明:这是我第一次使用 AWS Kinesis,因此我的预期可能不正确。 我有一个非常简单的 AWS Lambda 函数,可以将数据插入到 Kinesis 中。 API 重新...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.