在 Databricks 中使用 AutoLoader 时是否可以不合并镶木地板？
在 Databricks 中使用 AutoLoader 时是否可以不合并镶木地板？ 问题是，我想将数据从 S3 存储桶直接复制到 Azure Blob 存储，而不合并它。只需 1:1 复制...
Databricks CLI 版本 0.209 - 重置 API v2.1 中的现有作业
如何使用 cli v 0.209 重置 databricks 中的现有作业。 已经参考了下面讨论旧版本 databricks-cli 的论坛 Azure Databricks CLI：更新工作流/作业定义...
无法在Azure databricks中实例化EventHubsSourceProvider
我尝试使用以下代码从 Azure Databricks 的事件中心读取数据。 从 pyspark.sql.functions 导入 * 从 pyspark.sql.types 导入 * NAMESPACE_NAME =“*myEventHub*&...
Databricks Spark：java.lang.OutOfMemoryError：GC 开销超出限制 i
我正在 Databricks 集群中执行 Spark 作业。我通过 Azure 数据工厂管道触发作业，它以 15 分钟的间隔执行，因此在成功执行三到四次之后...
我有以下 databricks sql 查询，我需要帮助通过查找转换为 DAX。 选择不同的 P.ProgramId ,P.程序名 ,DU.内部电子邮件地址 来自 gold.programid P INNER 加入黄金。
更新DataBricks中String列类型的JSON数据中的特定值
我在databricks目录中有一个列类型为字符串的表。它包含 JSON，我想从中更新特定值，例如“key1”。我已经使用 from_json 将其转换为 json...
我们如何获取 DataBricks 工作区 URL 和访问令牌
我正在尝试在 CI/CD 集成中进行 Databricks 的端到端实现 例如：使用 Rest API 创建集群、安装库和其他内容 所以为此我们需要 Domain(Worksp...
我有一个 Databricks 笔记本。我的笔记本有几个命令。其中一些只是为了我的测试，我不想在生产中运行它们。 有什么办法可以禁用命令。我不想
我想通过全局初始化脚本为工作区中的所有集群（新的或旧的）设置集群日志传送。 我尝试通过自定义 Spark conf 添加底层 Spark 属性 - /databricks/dri...
假设我在 Databricks 中有以下 pyspark 数据框： 一些其他列 价格_历史记录 测试1 [{“日期”：“2021-03-21T01：20：33Z”，“price_tag”：“N”，...
我正在databricks中进行以下计算，并四舍五入到小数点后两位。 结果 = ( 圆形的（ 合并（ 当（col（'col'）！= 0，col（'col'））， 当（col（'col'）！...
我有一个名为“结果”的增量表，我有一个需要按顺序对结果执行的操作列表。 给定操作列表：['op_1', 'op_2', 'op_3'] op_1 修改 va...
我正在azure databricks中运行以下代码。 使用 erp_bu 创建查找字典，erp_bu 是具有两列“erp_code”和“bu”的行对象列表 广播查找字典
Sharepoint 文件修改时触发 Synapse Pipeline 的方法
我正在寻找一种在文件被修改时触发 Synapse 管道（运行 Databricks 笔记本和 Web 活动来刷新 PowerBI）的方法。 假设我的 Sharepoint 网站上有一个 data.xlsx
安装“ODBC 驱动程序驱动器和 Databricks 集群”
我的集群上的 init 脚本指向 DBFS 路径。错误显示不再支持 DBFS，我必须移动它的工作区或使用 ABFSS 路径。我搬到工作区 pyodbs.sh 看起来像
Databricks 上的托管身份 - DefaultAzureCredential 无法从包含的凭据中检索令牌
我正在尝试向天蓝色的服务总线发送消息。 但我收到以下错误： ServiceBusError：处理程序失败：DefaultAzureCredential 失败 从包含的凭证中检索令牌...
尝试在 Azure Databricks 上导入已安装的 Python Wheel 包时出现操作系统错误
我有一个名为 my_sdk.whl 的轮子包，是我在本地开发和构建的。 我还在虚拟环境中使用 pip install my_sdk.whl 测试了这个包，并尝试在...