使用托管在Google基础架构上的可靠,多对多的异步消息传递来连接您的服务。 Cloud Pub / Sub会根据您的需要自动扩展,并为构建您自己的强大全球服务奠定基础。
读取文本文件JSON数据以在Cloud Pub Sub中发布消息
我正在尝试将数据发布到Cloud Pub Sub。数据采用JSON格式,并保存在本地文件夹中。我没有使用云存储并尝试直接通过云读取pubsub消息...
如何编写Cloud Function来接收,解析和发布PubSub消息?
这可以被认为是这个主题的后续行动,但我需要更多的帮助来推动事情。希望有人可以查看下面我的尝试并提供进一步的指导。总结一下,......
如何使用Java通过Push in Cloud Pub / Sub接收消息
我正在尝试使用Java实现Google Cloud Pub / Sub来接收消息(通过Push)但我找不到Java的文档。我可以通过pull接收消息,也可以通过设置和...
从Alpakka PubSub库运行订阅源时,我收到了可能的编码数据。 @Singleton类Consumer @Inject()(config:Configuration,credentialsService:google.creds ....
通过http请求将Google pubsub作为JSON发布
我试图将一些数据推送到PUB / SUB,如我所假设的,带有所需数据的URL“POST https://pubsub.googleapis.com/v1/projects/myproject-id/topics/mytopic-name:publish”在一个json ...
我正在设置一个主题并尝试授予gmail向该主题发送电子邮件通知的权限,但API调用会抛出“用户未被授权执行此操作”。我犯了同样的错误 ...
Google Dataflow和Pubsub - 无法实现一次性交付
我正在尝试使用Apache Beam SDK 2.6.0使用Google Dataflow和PubSub完成一次交付。用例非常简单:'Generator'数据流作业向PubSub主题发送1M消息。 ...
基本上我从几个Azure主题中理解的内容如下:1)Azure事件中心 - 最初接收数据并转换为事件2)服务总线 - 充当队列3)Azure事件网格 - ...
谷歌pubsub golang用户在闲置几个小时后停止接收新发布的消息
我在google pubsub中创建了一个TOPIC,并在TOPIC中创建了一个SUBSCRIPTION,然后我在go中编写了一个pulller,使用它来接收并确认已发布的消息......
将数据从Firestore加载到BigQuery的适当方法是什么?
我正在研究几种从Firestore导出数据的方法,而不使用BigQuery和Data Studio中的导出(长期昂贵的操作,因为它不支持增量备份)。 ...
我在运行数据流作业时看到了所有类型的奇怪错误(Beam 2.12)。该作业基本上从pubsub获取输入,从/向Datastore读/写将结果写入pubsub。一些 ...
Google Cloud - 如何从远程PubSub获取数据作为Apache Beam Pipeline在本地执行的输入?
我已经在官方文档之后配置了一个本地(java)环境来执行Apache Beam Pipeline。示例项目(WordCount)工作正常,但现在我想更改它并获得输入...
我正在设置一个新的GCP项目,以便在将CSV文件上传到存储桶后立即读取和解析该文件。在这种程度上,我创建了一个发布到pub / sub的触发器。 Pub / Sub本身发送...
我正在尝试使用DirectRunner运行一个简单的Apache Beam管道,该管道从Pub / Sub订阅读取并将消息写入磁盘。当我对GCP运行时,管道工作正常,...
我正在尝试使用Google PubSub在两个服务之间传递和接收消息。但是,发送的一些消息似乎是随机丢弃的,并且不会被订阅者的回调处理...
我查看了Google PubSub的文档,并尝试查看Google Cloud Monitoring,但找不到任何方法来确定我的主题中的队列大小。自从我计划......
根据Cloud PubSub文档,如果在7天内没有消费,则不再存储消息。从...那一刻起,在持久存储中保留7天内未被确认的消息
使用PubsubIO的Java OutOfMemoryError
我在Java中编写一个简单的Dataflow管道:PubsubIO - > ConvertToTableRowDoFn - > BigQueryIO管道正在运行 - 数据按预期到达BigQuery - 但我看到了OutOfMemoryErrors ...
从App Engine标准环境访问Google Pub / Sub?
我正在使用python标准环境,并希望向google pub / sub发布消息。但是,似乎谷歌云库不包含在环境中,至少......
Google Cloud PubSub / Datastore错误13和14:“收到GOAWAY”和“TCP读/写失败”
对不起,长标题。当从Cloud PubSub将数据流式传输到...时,随机弹出一些问题(每隔几小时,但不是定期安排,可能是3小时到8小时)。