在 Google Cloud Platform 中设置 FTP

Question

我有一个外部用户想要通过 SFTP 向我发送一堆 CSV 文件，我最终希望将这些文件放入 BigQuery 表中。如何设置 FTP？最好的方法是什么？是否让它们上传到 Google Cloud Storage 存储桶？或者到虚拟机实例？谢谢！

Answer 1

• 创建计算引擎实例

  • 转到 计算引擎仪表板
  • 单击创建实例
  • 为您的实例选择名称、机器类型和磁盘大小（默认值就足够了，具体取决于文件的大小）
  • 单击“管理、安全、磁盘、网络、单独租赁”
  • 转到网络选项卡
  • 为您的实例设置一个标签，可以是

    sftp

• 创建防火墙规则以接受与您的 Compute Engine 实例的 SFTP 连接

  • 转到 防火墙规则仪表板
  • 单击创建防火墙规则
  • 为规则命名
  • 在网络上选择默认值（如果不同，则选择创建计算引擎的网络）
  • 选择入口
  • 在目标上选择“指定目标标签”
  • 在目标标签上选择

    sftp

  • 在源过滤器上留下 IP 范围
  • 在 IP 范围类型上

    0.0.0.0/0

    或其他范围（如果您知道您的客户在哪里）
  • 选择指定的协议和端口
  • 选择端口 22、60000-65535
  • 点击创建

• 创建第二条具有出口和相同配置的防火墙规则

• 在计算引擎实例上安装 SFTP 服务器

此外，如果您希望将数据直接存储在 Cloud Storage 中，以避免使用 gcsfuse 计算引擎上的磁盘空间出现问题，您可以在 SFTP 服务器执行上传的文件夹上安装 GCS 存储桶。

Answer 2

此存储库有一个脚本，可以在 GCE VM 中自动创建 SFTP 服务器，并使用 GCS 存储桶作为后备存储。 https://github.com/DinoChiesa/sftp-server-in-gce