databricks 相关问题

Databricks 自动加载器写入列名称中包含无效字符的数据

尝试使用databricks的自动加载器写入数据时，嵌套列包含无效字符 在 " ,;{}() 中发现无效字符 = 在您的方案的列名称中...

cloudFiles.backfillInterval 每次 Autoloader 运行时都会重新处理源中的每个文件吗？

我正在努力了解如何控制自动加载器中的回填过程： https://docs.databricks.com/en/ingestion/cloud-object-storage/auto-loader/development.html#trigger-regular-back...

在 PySpark 笔记本中读取多个 Parquet 文件

将多个镶木地板文件读入数据帧时，似乎会在之后对每个镶木地板文件进行评估以进行后续转换，而此时它应该对数据帧进行评估。 我...

如何在 AWS Databricks 中的数百列上使用 ntile() 窗口函数或类似函数

我有一个包含 2000 万行和 400 多列的表。除了第一列之外，我需要将所有其他列更改为均匀分布的十分位数，独立于其他列。我的数据驻留在 AWS

如何在 Databricks 中重命名或编辑用户

创建用户后，是否可以在 Databricks（在 Azure 中）中重命名或编辑用户？ 当我第一次获得 Databricks 的访问权限时，管理员错误地拼写了我的姓氏。从那时起...

在 Databricks 上提供 MMCV/MMDet - 未找到 GLIBC_2.32

我正在尝试在 Databricks Serving（在 Azure 上）上托管 MMDetection 模型。该模型在 15.4 LTS ML 上进行训练。然而，在服务端点更新期间，它抱怨 GLIBC_2.32： 发生错误...

DataBricks API 不适用于创建或更新

我有这个问题 { “错误代码”：“BAD_REQUEST”， "message": "未找到远程存储库。请确保： 1. 您的远程 Git 存储库 URL 有效。 2. 你的

寻找增量表索引作为我的主键

我对数据块是全新的，Detla 表向我展示了 4 个主要功能（QRPG） 质量 通过 ACID 事务实现可靠 具有索引的性能 使用表进行治理...

按一列过滤并按另一列排序时数据块查询速度慢

我们有一个巨大的表，用于存储有关区块链区块的信息，我们特别感兴趣的是区块号及其时间戳。假设我们需要将时间戳映射到区块号来解决任务&

使用自动加载器数据块过滤目录

我有一个具有这种结构的数据湖。不幸的是，正如您在第二张图片中看到的那样，数据中存在错误，因此我的未来和过去的岁月毫无意义，而且他们有虚拟......

Databricks 社区版中未保留多接收器处理

我只是尝试将 Rate 与结构化流结合使用，以便每个 MicroBatch 写入多个表名称。 IE。只是在 pyspark 中刷新多个接收器逻辑以准备一些认证......

获取（[Errno -2] 名称或服务未知）")) - 从 Azure MLS Jupyter 笔记本连接到 Databricks SQL 仓库时

我尝试使用 Databricks-SQL-Connector 通过 Azure 机器学习笔记本从 Databricks SQL 仓库中提取数据，并在 Jupyter Notebook 中收到以下错误。我正在使用

使用 python 在运行时版本 > 11.3 中访问 Databricks 工作区中的文件

我有一个问题，是否可以使用 python 访问（读取和写入）Databricks 中公共工作区中的文件？我知道根据文档“在 Databricks Runtime 11.3 LTS 及以上...

将 AWS DMS 加载到 Azure Databricks

我想将一组表提取并创建到 Databricks 中的架构中。我已经在 Databricks 中创建了数百个表的完整架构，现在我只需要导入初始数据...

多次创建临时视图或尝试捕获视图是否存在并通过

我们必须将 SQL 分解成更小的块，然后将它们调用到 python 函数中以进行测试。这让我们不得不多次为某些 SQL 创建临时视图以获得不同的乐趣...

Databricks sql生成层次结构并找到第一个祖先记录

希望生成层次结构并使用 databricks SQL 查询连接两个表来查找第一个祖先记录。如果一个订单依赖于两个订单，那么基准订单将是...

使用 PEM 密钥从 databricks azure unity 目录连接到 Snowflake

我正在 azure 上使用 databricks UI 连接到 Snowflake。我们正在尝试使用 PEM 密钥选项，但出现以下错误 摘要：IllegalArgumentException：输入 PEM 私钥是 inv...

我怎样才能在使用prefect-databricks的完美流程中打印一些东西？

我是工作流编排方面的新手。我正在探索它的 databricks 集成，并在此处使用了它的教程示例。我能够连接到 datarbricks 实例并且可以打印作业

在databricks代码中需要更长的时间将数据数据帧加载到ssms表中

df_CorpBond=spark.read.format("parquet").option("header","true").load(f"/mnt/{container_name}/raw_data/dfl.corporate.parquet") df_CorpBond.repartition(100)...

为什么 schemaEvolution 在 databricks 自动加载器中不起作用？

我正在读取 csv 文件并每天处理它们，以便我可以使用 autolader 将数据附加到 databricks 中的青铜层。代码如下所示： def run_autoloader(表名, checkpoint_pa...