如何使用Google Cloud进行计算?

问题描述 投票:0回答:1

我有一个机器学习项目,对于这个项目,我必须在evey网站上获取15分钟的数据。我决定使用谷歌云平台来做到这一点。我编写了一个python脚本来完成这个过程(从网站获取数据并写下csv文件),当我在我的计算机上运行这个脚本时,它运行良好。我需要运行这个脚本几个星期。因此它应该在谷歌云的计算机上运行,​​并且当我关闭计算机时它应该继续运行。我怎样才能做到这一点?

如果需要,我还可以使用其他云服务,但谷歌云会更好。

google-app-engine google-cloud-platform google-compute-engine google-kubernetes-engine
1个回答
0
投票

免责声明:我使用Google云平台支持

Google Cloud Compute Engine被定义为基础设施即服务。它基本上提供对虚拟机(VM),磁盘和网络功能的访问。通过使用此产品,您可以从头开始配置资源,定义一个或多个VM实例,配置工作环境等。可能需要比所需更多的配置和锅炉电镀,但它提供了最大的控制。你总是可以使用一些资源for free,但在我看来,这是一个很大的从头开始。

Google Cloud App Engine被定义为平台即服务。它基本上是一个托管应用程序平台。管理可以在一定程度上自动化。它基于计算引擎,因为它在计算引擎虚拟机定义的基础架构之上提供功能,平台。因此,您可以在App Engine Flexible Python Environment中部署python脚本。您可以将整个应用程序定义为相互关联的microservices的集合,即一个服务从网站获取数据,也许另一个服务写入csv文件,另一个可能触发ML作业。 App Engine还为schedule jobs提供了作为cron工作的可能性。因此,如果您的应用程序需要运行定期作业或在特定时间运行,则可以使用此工具。 App Engine pricing与使用的资源相关,但您可以使用Google Cloud Platform Pricing Calculator估算最终预算。

您可以将qsxswpoi中的csv文件存储为Google Cloud Storage中的对象,或者存储为bucketsDatastoreCloud SQL中的数据。 Google Cloud Platform的组件可以通过BigQuery相互通信。例如,这允许您的App Engine部署以编程方式在Cloud SQL实例中执行CRUD操作。或者......触发service acounts

您的问题非常广泛,可以通过多种方式解决。我最初会在App Engine Flexible中使用Cloud Machine Learning job python脚本。如果需要,我会deploy每15分钟获取一次数据。我想deploy a cron job谷歌云存储桶中的csv文件。然后,我将使用Cloud Machine Learning upload以编程方式触发机器学习作业。

还有其他您可能感兴趣的产品:

所有产品/组件和子产品/子组件都可以相互通信,并且可以在云中轻松实现流程的自动化。因此,当您关闭计算机时,整个项目可以在Google的云基础架构中运行。但是,当然,你必须事先在你的Cloud Pub/Sub中配置它。

我知道我以广泛的答案满足了你的广泛问题。对于您在云中实施项目的路径中的任何特定问题,社区将在此提供支持。

祝好运!

© www.soinside.com 2019 - 2024. All rights reserved.