有关Databricks统一分析平台的问题
Azure databrick 平台上 pyspark 上的 Py4JJava 错误
我需要在pyspark中执行postgressql 我试过以下：- spark = SparkSession.builder.appName("ReadFromPostgreSQL").getOrCreate() url = "jdbc:postgresql://localhost:5432/
Databricks 中 Metaflow 和 MLflow 的组合
我需要使用 Databricks-Notebooks 编写结合了 Metaflow 和 Mlflow 的脚本。 这是脚本： 导入 mlflow 从 metaflow 导入 FlowSpec、步骤、参数 将熊猫导入为 pd 进口
Unity Catalog is not enabled on this cluster error in Databricks cluster without this config
我正在尝试在没有 UC 的作业集群中将表保存为表，但我仍然面临这个 UC 问题。 [UC_NOT_ENABLED] Unity Catalog 未启用 Databricks 集群中的此集群错误 我的...
致命错误：尝试在 Jupyter notebook 中从 AWS Redshift 查询数据时，Python 内核无响应
我正在配置的集群上运行 jupyter notebook： *12.2 LTS（包括 Apache Spark 3.3.2、Scala 2.12） Worker 类型：i3.xlarge 30.5GB 内存，4 核 最少 2 名和最多 8 名工人* 游标 = conn.
如何在 Databricks (PySpark) 中使用“com.crealytics.spark.excel”从 Excel 文件中提取工作表名称
我在 azure datalake 中有一个 Excel 文件，我已经阅读了如下的 excel 文件 ddff=spark.read.format("com.crealytics.spark.excel") \ .option("标题",...
Databricks Legacy Global 初始化脚本[关闭]
我们的组织收到了一封来自 databricks 的电子邮件，说我们正在使用遗留的全局初始化脚本，我们需要迁移这些脚本。 我已经浏览了我们的工作区，找不到我们...
我需要从 S3 存储桶中读取图像并将其转换为 base64 编码格式。 我能够从 S3 读取图像文件但是当我在 base64 中传递 S3 文件路径时...
为什么在使用 SPARK 从 SQL-Server 读取期间触发单个任务
我正在尝试使用 pyspark 从 sqlserver 读取数据集。我在下面提到了创建多个分区以实现并行化的参数。我可以看到创建了 n 个分区，但是
Databricks：从 pandas 创建 spark 数据框时出现问题
我有一个 pandas 数据框，我想将其转换为 spark 数据框。通常，我使用下面的代码从 pandas 创建 spark 数据框，但突然间我开始出现以下错误，我是
Assess if a query has returned anything, pyspark
我在 Databricks/Pyspark 上运行相当大的 sql 查询。当我想使用 pyspark COUNT 检查查询返回的行数时，需要 50 多分钟。结果是一个空的数据框。 有没有...
我被困在这个问题上很长时间了。不是非常熟悉使用 Spark 进行图像处理的用户。我试图调整加载到 Spark DF 中的图像的大小。但是，它不断抛出错误......
我们需要确保给定类型的所有数据都已从我们的系统中删除。这包括 Databricks Notebook 中可能存在的任何单元格输出。 有没有办法清除细胞o...
出于数据可视化的目的，我使用 Databricks 创建仪表板。 这是通过在笔记本中创建图表并将这些图表链接到仪表板来实现的。 但是我在
我正在尝试理解 Databricks 中使用的不同术语，例如 - Hive 表、delta 表、镶木地板表。 我试图找到答案，但所有答案都很混乱。
我们在 AWS s3 中有我们的数据湖。 hive 中的元数据，我们有一个小型运行集群。（我们还没有使用 Athena/Glue）。 我们在 Airflow 管道中使用 spark 和 presto。 处理后的数据被转储到...
Databricks 文件触发器 - 如何将 databricks 私有 IP 列入白名单
最近，Databricks 新增了一个功能——文件触发器。 但是，此功能似乎需要一个存储帐户来允许所有网络流量。 我的存储帐户配置了防火墙，它...
我有一个关于 Spark 架构的基本问题。 在 databricks 社区版中，我可以创建一个具有 2 个核心的集群。 在此处输入图像描述 据我了解，每个核心都可以创建...
在使用 java 脚本的突围游戏中，我如何编辑功能以使砖块在 2 次点击后隐藏而不是一次，并且在点击一次后改变颜色 这是代码： 砖块对象 画砖功能
plotly express choropleth map not rendering in jupyter notebook
我有以下代码应该渲染等值线图。 将 plotly.express 导入为 px 将 geopandas 导入为 gpd 有计划地导入 将 plotly.express 导入为 px px.set_mapbox_access_token(mapbox_token)
我们可以带上我在databricks notebook中生成的wheel文件吗？ 当我导出为源文件时，我在 dist 中看不到任何文件。 有什么办法可以将 Wheel 文件带出数据库...