sparkr 相关问题

如何在 Azure Synapse 中保存 ggplot？

我正在尝试保存在 R 的 Synapse Analytics 笔记本中创建的 ggplot。 我发现之前的一个问题解释了如何在 Python 中执行操作，但我无法在 R 中复制它们。 我成功安装了...

如何更新 SparkR 中的 Spark 设置？

我正在尝试使用 SparkR 从数据库中提取一个非常大的数据集到我的 Databricks 集群上，以在其上运行一些 R 函数。 然而，我遇到了一个问题，尽管我的集群定义......

Databricks：配置 R 默认使用自定义 CRAN 镜像

我想在 Databricks 下的 R 中指定默认的自定义 CRAN 镜像，但是调整 Rprofile.site 文件中的配置似乎根本无法识别。 我已经阅读了微软官方

Azure Synapse Apache Spark 池：已添加 .gz 包，但笔记本运行错误显示未找到

我有包含 r 代码的笔记本。手动运行时，它们本身可以正常工作。为了安排和自动化这些工作簿，我们必须使用管道来调用 r 笔记本。然而，管道...

如何使用 SparkR 将多个计算列添加到 SparkDataFrame？

现在我陷入了一个相当基本的案例，但我找不到 SparkR 的聪明解决方案...... 我需要从 SparkDataFrame 中的 N 列创建 N 个新的计算列。 df <- data.frame(V1 = base::

无法将 R 数据帧转换为 Spark DataFrame

当我尝试使用以下方法将 R 中的本地数据帧转换为 Spark DataFrame 时： 原始数据 <- as.DataFrame(sc,raw.data) I get this error: 17/01/24 08:02:04 WARN RBackendHandler: cannot find matching ...

将 Sparklyr 数据帧转换为 SparkR 数据帧

我当前的方法是将我的sparklyr数据框保存为tmp文件夹中的镶木地板文件，并使用SparkR来读取它。我想知道是否有更优雅的方式。 另一种方法是留下来

Azure Synapse Sparkr 笔记本：如何加载包含 ADLS Gen2 目录中的凭据的 .yaml 文件

是否可以将 .yaml 文件加载到 Azure Synapse Sparkr Notebook 中？如何加载包含 ADLS Gen2 目录中的凭据的 .yaml 文件？

Arrow R 软件包无法在 Databricks 上安装

大约 6 周前（2022 年 4 月上旬），我测试了 Databricks 工作流程，以确保我可以从 Airflow 远程触发 databricks 上的作业，结果很成功。 作为该过程的一部分，我们...

对于 Databricks，使用 PySpark/SparkR 内置 API 函数比 SQL 查询更可取吗？

我目前正在研究Databricks（使用SparkR，但我想我的问题仍然与PySpark相关）。我有一个一般性问题，关于在...中使用是否存在性能差异？

SparkR：创建带有嵌套数据列的 Spark 表

我正在 Databricks 工作，试图将数据从 R 笔记本推送到 Apache Spark，其中一列是嵌套数据。这是一个没有嵌套的工作示例： 库（SparkR） SparkR.session() d1 ...

如何使用 SparkR 删除 Databricks 中的表

我有一个表写入 Databricks 中的仓库，我想使用 {SparkR} 包删除它。本质上我想做 SparkR::saveAsTable() 相反的事情。 使用 SparkR::sql(&

如何在 Spark SQL 中访问 R 变量

我在 Azure Databricks 的笔记本文件的 %r 单元格中创建了多个 R 变量。我想访问该变量以在同一笔记本的 %sql 单元格的查询中的 where 子句中使用。 它...

sparklyr 如何将 '.option("overwriteSchema", "true")' 添加到 databricks 上的 saveAsTable()

我正在databricks中运行以下代码以使用sparklyr保存表格 图书馆（sparklyr） 图书馆（dplyr） <- sparklyr::spark_connect(method = "databricks") dat <- sparklyr::

SparkR 函数在数据块中失败

我不是 R 用户，但我需要使用 SparkR 进行一些分析，并且我正在尝试运行下面的代码。管道是这里的问题吗？ 表%>% SparkR::select('车站') %>% 火花R::

将类型从 AsIs 更改为在 R 数据框中列出

我正在尝试在 R 中制作一个如下所示的数据框： 组号 1 1 [1,2,3,4,5] 2 2 [8,9,10,11] 我的做法如下： 组 = c(1:2) 数字 = I(列表(...

用另一个数据帧填充一个数据帧中的值

我在 Databricks 的 R 环境中必须执行的某些处理时遇到一些问题。我有两个数据框。 df1：包含行和列（index1和index2）以及要分配的值

如何将 '.option("overwriteSchema", "true")' 添加到 SparkR 中的 saveAsTable()

更改列后，如何使用 SparkR::saveAsTable() 再次使用与现有表相同的名称保存 R 数据帧？ 我正在 databricks 上使用 R 并保存了一个 R 数据框...

sparkR：实例化“org.apache.spark.sql.hive.HiveSessionState”时出错：

当我尝试使用sparkR时，我正在努力解决这个问题。 SparkR.session(master = "local[*]", SparkConfig = list(spark.driver.memory = "1g")) handleErrors(returnStatus, conn) 中的错误： 我...

使用向量按多个条件过滤

我正在尝试使用 SparkR 数据帧上的向量按多个变量过滤一系列条件。 在常规数据帧上使用 tidyverse 执行此操作非常简单。例如： 图书馆（&