google-cloud-dataproc 相关问题

Google Cloud Dataproc是Google云端平台上的托管Hadoop MapReduce，Spark，Pig和Hive服务。该服务提供GUI，CLI和HTTP API访问模式，用于部署/管理集群以及将作业提交到集群。

我最近在gcloud DataProc上建立了一个集群（1个主服务器和2个从服务器）。我设法有一个带有PySpark内核的jupyter笔记本界面。只要我的工人不这样做，一切都有效......

import pyspark google-cloud-platform python-module google-cloud-dataproc

回答 1 投票 1

有没有办法将Dataproc Spark作业的输出发送到Google Cloud日志记录？如Dataproc文档中所述，作业驱动程序（Spark作业的主控）的输出可用...

apache-spark google-cloud-dataproc google-cloud-logging

回答 2 投票 16

我正在尝试在Dataproc集群上提交spark工作。该作业需要多个系统属性。我能够通过如下一个：gcloud dataproc jobs提交spark \ ...

apache-spark google-cloud-platform gcloud google-cloud-dataproc

回答 1 投票 1

我正在尝试将数据从BigQuery加载到Jupyter Notebook，在那里我将进行一些操作和绘图。数据集是2500万行，有10列，绝对超过了我的机器......

python-3.x google-bigquery out-of-memory jupyter-notebook google-cloud-dataproc

回答 1 投票 0

我正在阅读Google Cloud Dataproc和Apache Spark的文档，我无法弄清楚在使用Bigquery连接器时如何手动设置分区数。 ...

apache-spark pyspark google-bigquery google-cloud-dataproc

回答 1 投票 0

我在Dataproc上运行一个spark作业，它从一个桶中读取大量文件并将它们合并到一个大文件中。我通过着色使用google-api-services-storage 1.29.0。到现在为止它工作得很好，......

java google-cloud-platform google-cloud-dataproc google-storage-api

回答 1 投票 3

我使用Hadoop 2.9.2启动了Dataproc集群，下载了Flink 1.7.2并尝试使用以下命令启动它：./ bin / yarn-session.sh -n 2此操作失败并显示以下错误消息：...

hadoop apache-flink google-cloud-dataproc

回答 2 投票 0