从本地运行ML培训和测试迁移到Google Cloud

问题描述 投票:0回答:1

我目前在本地运行着一个简单的机器学习基础架构,我希望将其全部迁移到Google Cloud。我只是简单地从数据库中获取所需的数据,构建模型,然后在测试数据上测试模型。全部在本地PyCharm中完成。

我想简单地迁移它,并有可能在Google Cloud上完成所有这些操作,同时具有进行本地更改的灵活性,这些更改也可以在Cloud上运行时应用。有很多与此相关的Google Cloud资源,因此我正在寻找人们遵循的最佳实践。

谢谢,如果需要任何澄清,请告诉我。

machine-learning google-cloud-platform pycharm
1个回答
0
投票

我强烈建议您看一下由以下内容组成的云中的机器学习工作流程:

  • 数据摄取和收集
  • 存储数据。
  • 正在处理数据。
  • ML训练。
  • ML部署。

数据摄取和收集

如果您想通过Google Cloud Platform提取数据,可以使用多种资源。我可以向您推荐的最简单的解决方案是Google Compute EngineApp Engine App(例如,对于一个用户在其中填充一些数据的论坛)。

不过,如果您想实时摄取数据,也可以使用Cloud Pub / Sub。

存储数据

正如您提到的,您正在从数据库中检索所有信息。如果您习惯使用SQL或NoSQL,我强烈建议您使用Cloud SQL。在构建实例时,不仅提供了一个良好的界面,而且还使您可以安全,快速地访问它。

如果不是这种情况,您也可以使用Google Cloud StorageBigQuery,但是在这两者中,我将选择BigQuery,因为它也可以使用流数据。

处理数据

要在将数据输入模型之前处理数据,可以使用以下任何一种方法:

  • Cloud DataFlow:Cloud Dataflow是一项完全托管的服务,用于以相同的可靠性和表现力在流(实时)和批处理(历史)模式下转换和丰富数据-无需其他复杂的解决方法或折衷办法。
  • Cloud Dataproc:Dataproc是一种快速,易于使用的,完全托管的云服务,用于以更简单,更具成本效益的方式运行Apache Spark和Apache Hadoop集群。
  • [Cloud Dataprep:Trifacta的Cloud Dataprep是一项智能数据服务,用于可视化地探索,清理和准备结构化和非结构化数据以进行分析,报告和机器学习。

ML培训和ML部署

为了训练/部署您的ML模型,我建议使用AI platform

[AI平台使机器学习开发人员,数据科学家和数据工程师可以轻松,快速且经济高效地将其ML项目从构思转移到生产和部署。

如果需要使用庞大的数据集,则最佳实践是通过AI平台将模型作为Tensorflow作业运行,因此您可以拥有一个训练集群。

最后使用AI平台部署模型,可以看看here.

© www.soinside.com 2019 - 2024. All rights reserved.