我目前在本地运行着一个简单的机器学习基础架构,我希望将其全部迁移到Google Cloud。我只是简单地从数据库中获取所需的数据,构建模型,然后在测试数据上测试模型。全部在本地PyCharm中完成。
我想简单地迁移它,并有可能在Google Cloud上完成所有这些操作,同时具有进行本地更改的灵活性,这些更改也可以在Cloud上运行时应用。有很多与此相关的Google Cloud资源,因此我正在寻找人们遵循的最佳实践。
谢谢,如果需要任何澄清,请告诉我。
我强烈建议您看一下由以下内容组成的云中的机器学习工作流程:
如果您想通过Google Cloud Platform提取数据,可以使用多种资源。我可以向您推荐的最简单的解决方案是Google Compute Engine或App Engine App(例如,对于一个用户在其中填充一些数据的论坛)。
不过,如果您想实时摄取数据,也可以使用Cloud Pub / Sub。
正如您提到的,您正在从数据库中检索所有信息。如果您习惯使用SQL或NoSQL,我强烈建议您使用Cloud SQL。在构建实例时,不仅提供了一个良好的界面,而且还使您可以安全,快速地访问它。
如果不是这种情况,您也可以使用Google Cloud Storage或BigQuery,但是在这两者中,我将选择BigQuery,因为它也可以使用流数据。
要在将数据输入模型之前处理数据,可以使用以下任何一种方法:
为了训练/部署您的ML模型,我建议使用AI platform。
[AI平台使机器学习开发人员,数据科学家和数据工程师可以轻松,快速且经济高效地将其ML项目从构思转移到生产和部署。
如果需要使用庞大的数据集,则最佳实践是通过AI平台将模型作为Tensorflow作业运行,因此您可以拥有一个训练集群。
最后使用AI平台部署模型,可以看看here.