有关Databricks统一分析平台的问题
我的 Databricks Unity 目录中有两个表。 行程数据，大约 30.000 行。 旅行ID 客户 地点 开始 结尾 ... ABC 客户1 位置1 2023-01-01T00:00:00 2023-01-01T08:00:00 ... DEF
Databricks 数字类型比较（Int 与 Double）
我正在考虑使用azure databricks和delta live表来存储和处理财务订单簿数据。 随着时间的推移，这可能会变成一个非常大的表，可能有数十亿行，并且
Spark 中的 StreamQueryListener 不执行 onQueryProgress() 中的代码
我正在从 Databricks 增量表作为流读取数据并将其写入另一个增量表（使用屏幕截图中的控制台以便于调试），我想使用 StreamingQueryListener(...
Databricks 15.4 LTS 在连接到 Azure Key Vault 时抛出错误
我有一个在 Databricks 15.4（ARM 集群）上的 Java 17 上运行的 scala 应用程序，当执行以下代码时 导入 com.azure.security.keyvault.secrets.SecretClient 导入 com.azure.security.keyvault。
我在 databricks 环境中拥有个人集群版本 15.4 LTS（包括 Apache Spark 3.5.0、Scala 2.12）和 SQL 仓库。 当我使用以下代码在目录中创建表时，它
我的组织已转移到 Databricks，现在我陷入困境。 当我在 16GB 笔记本电脑上进行分析时，我可以将包含 1200 万行的 1GB 数据集读取到 R 会话中，并无需任何操作即可使用它...
有没有办法从 Databricks R 笔记本上的 Azure Blob 存储 (ADLS Gen2) 读取 parquet/csv 文件？ 我尝试过 AzureStor、SparkR，但我得到的都是错误。我只是想知道是否...
如何配置 Azure Databricks 集群以使用 Java 11
我想将 Azure Databricks 集群配置为使用 Java 11 而不是 8 我在“高级选项”>“Spark”>“环境变量”下添加了以下属性： JNAME=zulu11-ca-amd64 和
如何在每个批次的 databricks Spark 流上启用 AQE
我每天都通过以流方式处理每批数据来处理从一个检查点到另一个检查点的每日数据。 df.writeStream.format("delta") .option("检查点位置&quo...
Azure Databricks 单节点集群 140 GB，72 核，Databricks 运行时版本 12.2 LTS（包括 Apache Spark 3.3.2、Scala 2.12）
我有一个包含 330（312 个数字）列和 300,000 行的数据框，我正在尝试估算中位数，但内存利用率已最大化并且无法完成。 median_values={col:df_new.
我正在尝试在链接到AWS的databricks中创建一个工作区。它在最后一步失败了。 它说—— MALFORMED_REQUEST：存储配置验证检查失败：List、Put、
Databricks 作业 - 有没有办法重新启动失败的任务而不是整个管道？
例如，如果我有一个（多任务）Databricks 作业，其中有 3 个串联任务，而第二个任务失败 - 有没有办法从第二个任务开始，而不是再次运行整个管道？
当我尝试创建 Azure Databricks 集群时，同时遇到错误。 谁能指导我如何解决这个问题？ 订阅：200美元，免费订阅 下图包括一个电子...
如何在databricks资源包python轮任务中关闭自动轮构建
我有以下 databricks 资产包作业定义： -task_key：从轮子测试模型 python_wheel_task： Entry_point: run # 轮子的入口点
如何获取Databricks Delta Live Table管道高级配置中的所有参数？
我想获取 Delta Live 表配置部分中定义的参数列表 使用Python语言进行Delta Live Table框架，如果我知道参数的名称，我可以从...获取它的值
DELTA_INVALID_FORMAT 检测到不兼容的格式。当尝试在 databricks 中创建加载 csv 到 delta 笔记本时
我正在尝试设置一个简单的 csv 摄取到增量表（这是用于初始加载）。 前2步成功运行 我把它分成了 3 个笔记本： 挂载 Blob 存储 #安装B...
我正在尝试使用 databricks API 列出我的用户下的内容。下面是我的代码 `if (-not (Get-PackageProvider -ListAvailable -Name NuGet)) { Install-PackageProvider nuget -Scope CurrentUser -
是否可以在导入之前声明局部变量？ 例如，要让此代码按预期运行： #a.py # 在这里施展魔法，让 b.foo = "bar" 导入b b.printlocal() #...
Databricks - 即使文件存在，设置证书验证位置时也出错
我有一个 SSL 证书问题，我无法理解，并且我不确定这是否是 Databricks 有时令人困惑的文件系统的问题，或者是卷曲/证书方式的问题...
Databricks Asset Bundles：使用多个包含作业的 yml 文件
我有两个包含作业的 yml 文件，它们位于 resources 文件夹中。 每个文件以 资源： 职位： 在我的 databricks.yml 文件中，我执行以下操作： 包括： - 资源/**/*....