使用nodejs云功能将csv文件导入Google CloudSQL

问题描述 投票:1回答:1

除了自己流式传输csv文件并精心为每行数据执行插入之外,是否可以使用google cloud sdk从云功能中批量导入整个csv文件。我知道在gcp控制台中你可以进入导入选项卡,从存储中选择一个文件然后导入。但是我如何以编程方式模拟这个?

mysql node.js google-cloud-platform google-cloud-functions etl
1个回答
1
投票

一般来说,必须解析.csv并从中生成SQL; .csv中的一行将由一个INSERT声明表示。首先,您必须将upload文件 - 或将其拉入Cloud Functions临时存储,例如。与gcs.bucket.file(filePath).download

那么最容易的就是利用一个库,例如。 csv2sql-lite - 有一个很大的缺点,一个人没有完全控制进口 - 而例如。 csv-parse将提供更多控制(例如,检查可能的重复,跳过一些列,导入到不同的表,等等)。

...并命令连接到Cloud SQL,请参阅Connecting from Cloud Functions

© www.soinside.com 2019 - 2024. All rights reserved.