有没有办法在Google Dataproc初始化操作中pip安装wheel或tar.gz python包

Question

我正在尝试在Dataproc群集上使用pip install package psycopg2。我尝试了以下操作，但是由于我的工作计算机具有防火墙限制，因此无法正常工作。

REGION=<region>
gcloud dataproc clusters create my-cluster \
  --image-version 1.4 \
  --metadata 'CONDA_PACKAGES=psycopg2' \
  --metadata 'PIP_PACKAGES=psycopg2' \
  --initialization-actions \
  gs://goog-dataproc-initialization-actions-${REGION}/python/conda-install.sh,gs://goog-dataproc-initialization-actions-${REGION}/python/pip-install.sh

所以现在我将psycopg2.whl和psycopg2.tar.gz文件都放在了GSC中。现在，我需要在创建Dataproc集群时以某种方式安装它们，并且在查看此https://stackoverflow.com/a/50280108/13433956之后似乎有可能安装谁能提供更多有关如何通过Dataproc初始化操作从GCS安装pip来安装whl或tar.gz文件的详细信息。谢谢！

Answer 1

我认为您可以将初始化操作自定义为