有关Databricks统一分析平台的问题
在 Databricks 中创建认知搜索索引：connection.HTTPSConnection 无法建立新连接：[Errno -2] 名称或服务未知
我正在尝试在 Databricks 中创建认知搜索索引。我使用以下内容作为指导： https://learn.microsoft.com/en-us/azure/search/search-get-started-python 当我执行以下操作时...
用于获取给定catalog_id /catalog_name的模式列表的Rest api端点
您能否确认端点 URL 以获取 Unity 目录站中给定的 Catalog_id 或 Catalog_name 的方案列表当我尝试使用下面的端点获取 404 时。 端点 = f"{
停止 Spark 数据帧分发到集群 - 它需要保留在驱动程序上
我们有一个在 Spark 集群工作线程上进行计算的工作负载（CPU 密集型）。 结果被拉回驱动程序，该驱动程序拥有大量内存分配来通过 RDD .collect() 收集结果 重新...
我有一个表，其主键为多个列，因此我需要对多个列执行合并逻辑 DeltaTable.forPath(spark, "路径") .as(“数据”) 。合并（
在 Azure Databricks 的 Delta Live 表中，如何导入相邻目录中定义的模块？
上一级文件夹中有一个模块 根 我的库 mylib.py 管道 mypipeline.py mypipeline 定义了一个增量实时表。如何导入 mylib 模块？ 问题是我不能...
在 Databricks 中读取 Delta Lake 文件时出现问题
在另一个问题中，我无法阅读所有文件，有人设法帮助我。我设法阅读了所有文件，但是你们能给我更多帮助吗？ 我正在读 12 种不同的文章...
在 Databricks SQL 笔记本中设置宏以检查表名称中的年份限定符
我有一个 Databricks SQL 笔记本，我想在开始时设置一个宏，如果特定文件名具有特定年份限定符，则该宏仅运行后续笔记本单元。 例如，...
Langchain PyPDFLoader 从 Azure Databricks 中的 Azure Blob 存储挂载点读取
我正在使用 Azure Databricks 并尝试读取位于 Azure Blob 存储中的 PDF 文件。另外，我正在使用 Langchain PyPDFLoader 来阅读 PDF。根据我检查过的例子，PyPDF...
在 Delta Lake House 中读取文件时出现问题 - 数据流
我正在独自用数据块建造我的第一个三角洲湖房子。我需要读取 AWS 中存储桶中 csv 格式的文件，我可以通过执行 display(dbutils.fs.ls.Howe...
通过 ADF 中的 POST 将 databricks 笔记本输出作为 json 发送
我有一个管道，将数据从 ERP 系统提取到数据湖（青铜层），然后调用 Databricks 中的笔记本，进行清理，进行一些转换并将其保存到银层中，然后再次......
我正在尝试使用 Databricks 模型服务托管 Python MLflow 模型。虽然服务端点在没有私有 Python 包的情况下也能正常运行，但我在
使用工作区路径的Azure databricks集群初始化脚本：初始化脚本失败：资源不存在
我正在尝试向我的 Azure databricks 集群添加一个简单的 init 脚本。脚本路径类似于/Workspace/Shared/my-cluster-init.sh。当我尝试使用 init 脚本启动集群时，我发现...
以下二头肌部署突然开始失败，我不明白为什么 var ManagedResourceGroupName = 'rg-metadata-${dataBricksName}' 资源 databrickworkspace 'Microsoft.Databr...
我在 Spark SQL 中创建了以下表 如果不存在则创建表 lijo_db.fire_service_calls_tbl( 电话号码整数， 单位 ID 字符串， 事件编号整数， ...
Databricks Dataframe 在单独的目录中为每个写入文件创建多个文件。仅需要 1 个文件 .parquet 或 .csv
我需要一些帮助来从数据帧创建镶木地板文件，因为写入时会在单独的目录中创建多个文件： Databricks Python 代码： Mounted_directory_path = "/mnt/myConta...
将文件从一个文件夹移动到 Azure 数据湖中的另一个文件夹，无需将 ADLS 安装到 DBFS
我遇到了一种情况，我正在文件夹1中接收文件，并且我想执行某些转换并将这些文件移动到另一个文件夹2。 将数据从文件夹 1 移动到文件夹 2 的原因 -...
如何修复 AmazonS3Exception: Forbidden;请求：头
为什么我会得到： AmazonS3Exception：禁止；请求：HEAD https://my-bucket.s3.us-east-1.amazonaws.com some_folder/part-00001-tid-4355744669774358191-8bcd5132-03de-4047-83a5-51757d8a717a-21-1-c...
在 Azure 中使用 Terraform 将多个 Spark_conf 行添加到 Databricks
我正在尝试在 Terraform 中的 databricks 集群资源块中使用“spark_conf {}”块。该块接受一个键和一个值，但我想添加多个。 我能够...
我正在 Databricks 中运行代码，但不知何故 unixtimestamp 值没有不同。在调试时我了解到，因为 databricks 配置了 UTC 时区。 请告知我如何更改 def...
如何在Databricks中的SQL查询中使用python变量？
我正在尝试将 SQL 存储过程转换为 databricks 笔记本。 在存储过程中要实现以下 2 条语句。 这里表1和表2是databricks c中的Delta Lake表...