如何将日志流式传输到Google Cloud Storage存储桶,例如Google Cloud Build

问题描述 投票:0回答:1

我想将某些Google Cloud机器上的某些日志文件的内容“实时流式传输”到Google Cloud Storage存储桶,但是对我来说,如何解决这个问题并不明显。

结果应类似于产生时可用的Google Cloud Build日志。

有什么建议吗?

谢谢!

logging google-cloud-platform stream google-cloud-storage
1个回答
0
投票

根据您要执行的操作,Stackdriver及其监视内置程序可能会执行您想要的操作(对不起,现在称为Operations)https://cloud.google.com/products/operations

如果没有,并且您真的希望它进入GCS或类似的东西(尽管再次取决于您想要的东西,则将日志编组为结构化数据并将其放入数据库可能更有意义),这是IMO的最佳方法将日志发送到本地文件,在计时器上或在看日志大小的系统监视程序等上旋转日志并将文件上载到GCS。我已经使用cron作业和使用gsutil(https://cloud.google.com/storage/docs/gsutil)将文件上传到GCS,然后在本地将其删除的Shell脚本完成了此类操作。

编辑:抱歉,看到您想让它“实时”可用...有点困难,但是我将实现类似我所描述的那样的方式,在这种情况下,日志将写入到诸如Cloud SQL的数据库中。我不认为GCS是解决“实时”日志情况的正确工具。如果您无法从Stackdriver中获得所需的东西(有一些叫做接收器的东西,您可以编写这些东西,如果您查看其中的内容,它将Stackdriver解析为db选项),那么直接写数据库可能是最好的选择。 Cloud SQL的延迟非常低,因此可用于其他流程。如果您要使用NoSQL方法,则BigTable或Firestore是不错的选择。

© www.soinside.com 2019 - 2024. All rights reserved.