databricks-notebook 相关问题


Databricks CLI 版本 0.209 - 重置 API v2.1 中的现有作业

如何使用 cli v 0.209 重置 databricks 中的现有作业。 已经参考了下面讨论旧版本 databricks-cli 的论坛 Azure Databricks CLI:更新工作流/作业定义...


如何在 Jupyter Notebook 7 中将单元格从一个 Jupyter Notebook 复制到另一个 Jupyter Notebook?

我想将 Jupyter Notebook 7 中的一个笔记本中的多个单元格复制到另一个笔记本中。 我已经尝试了论坛上找到的方法,比如shift + 上/下键选择和cmd + C /cmd + V 复制...


无法在Azure databricks中实例化EventHubsSourceProvider

我尝试使用以下代码从 Azure Databricks 的事件中心读取数据。 从 pyspark.sql.functions 导入 * 从 pyspark.sql.types 导入 * NAMESPACE_NAME =“*myEventHub*&...


无法从 Windows 上的 Jupyter Notebook 中的虚拟环境访问库

我遇到一个问题,在 Windows 上运行 Jupyter Notebook 时无法从虚拟环境访问库。尽管激活了虚拟环境并安装了所需的


Databricks Spark:java.lang.OutOfMemoryError:GC 开销超出限制 i

我正在 Databricks 集群中执行 Spark 作业。我通过 Azure 数据工厂管道触发作业,它以 15 分钟的间隔执行,因此在成功执行三到四次之后...


如何在 Jupyter Notebook 中使用我的 PyCharm Python 解释器?

是否可以在 Jupyter Notebook 中使用我在 PyCharm 中使用的 Python 解释器?我不想创建一个全新的虚拟环境,因为我已经尝试过并遇到了&q...


将 Databricks SQL 查询转换为 DAX

我有以下 databricks sql 查询,我需要帮助通过查找转换为 DAX。 选择不同的 P.ProgramId ,P.程序名 ,DU.内部电子邮件地址 来自 gold.programid P INNER 加入黄金。


更新DataBricks中String列类型的JSON数据中的特定值

我在databricks目录中有一个列类型为字符串的表。它包含 JSON,我想从中更新特定值,例如“key1”。我已经使用 from_json 将其转换为 json...


我们如何获取 DataBricks 工作区 URL 和访问令牌

我正在尝试在 CI/CD 集成中进行 Databricks 的端到端实现 例如:使用 Rest API 创建集群、安装库和其他内容 所以为此我们需要 Domain(Worksp...


禁用 Databricks 笔记本中的命令框

我有一个 Databricks 笔记本。我的笔记本有几个命令。其中一些只是为了我的测试,我不想在生产中运行它们。 有什么办法可以禁用命令。我不想


在 Databricks 中使用 AutoLoader 时是否可以不合并镶木地板?

在 Databricks 中使用 AutoLoader 时是否可以不合并镶木地板? 问题是,我想将数据从 S3 存储桶直接复制到 Azure Blob 存储,而不合并它。只需 1:1 复制...


通过全局初始化脚本启用 Databricks 集群日志

我想通过全局初始化脚本为工作区中的所有集群(新的或旧的)设置集群日志传送。 我尝试通过自定义 Spark conf 添加底层 Spark 属性 - /databricks/dri...


为什么 Odoo 17 没有在 <notebook> 中为我的字段渲染标签?

我正在运行有关 Odoo 17 开发的教程,并为第 7 章中的练习创建了以下代码: 我正在运行有关 Odoo 17 开发的教程,并且我为第 7 章中的练习创建了此代码: <record id="estate_view_form" model="ir.ui.view"> <field name="name">estate.property.form</field> <field name="model">estate.property</field> <field name="arch" type="xml"> <form string="Estate Property" create="True"> <sheet> <group string="Info"> <field name="name" /> <field name="description" /> </group> <group string="Location"> <field name="postcode" /> </group> <notebook> <page string="Specs"> <field name="facades" /> <field name="garage" /> </page> </notebook> </sheet> </form> </field> </record> 它可以工作,但 <notebook> 中字段的标签未呈现。我尝试添加 string 属性,但这不起作用。 <notebook> 上的 文档没有提及任何有关此行为的信息。 IIRC 自从我使用的每个版本(6.1+)以来,你必须在 group 周围有一个 field 才能自动获取标签。


是否可以在 Google Cloud Shell 中使用 Jupyter Notebook?

我尝试过的: 启动 Google Cloud shell 须藤 pip 安装 jupyter jupyter 笔记本 --generate-config 将以下内容添加到 ~/.jupyter/jupyter_notebook_config.py c.NotebookApp.ip = 'localhost' c.


将 pyspark 数据帧转换为代码/语法

假设我在 Databricks 中有以下 pyspark 数据框: 一些其他列 价格_历史记录 测试1 [{“日期”:“2021-03-21T01:20:33Z”,“price_tag”:“N”,...


pyspark 中没有发生小数点后 2 舍入

我正在databricks中进行以下计算,并四舍五入到小数点后两位。 结果 = ( 圆形的( 合并( 当(col('col')!= 0,col('col')), 当(col('col')!...


将 Jupyter 笔记本转换为 MS Word 文档 .doc?

在 Jupyter Notebook 中,我可以使用 nbconvert 将笔记本转换为 pdf 和 HTML。但是,没有办法将其转换为.doc(Word文档)。有没有办法将其转换为 MS Word 保留...


jupyter ImportError:无法从部分初始化的模块“zmq.backend.cython”导入名称“常量”

我最近升级了jupyter,但现在我得到了 ImportError:无法从部分初始化的模块“zmq.backend.cython”导入名称“常量” 当我运行例如 jupyter-notebook 或 jupyter


Databricks 合并到 - 添加插入另一个表的条件

我有一个名为“结果”的增量表,我有一个需要按顺序对结果执行的操作列表。 给定操作列表:['op_1', 'op_2', 'op_3'] op_1 修改 va...


任何 anaconda 命令返回错误“无法从‘集合’导入名称‘序列’”

当我尝试在终端中运行任何 anaconda 命令(conda、upyter notebook、pip3...)时,它会抛出以下错误: >康达 回溯(最近一次调用最后一次): 文件“/Users/thejavanoob/


是否可以广播字典并将其用作 pyspark 中的查找?

我正在azure databricks中运行以下代码。 使用 erp_bu 创建查找字典,erp_bu 是具有两列“erp_code”和“bu”的行对象列表 广播查找字典


VS Code Jupyter Notebook 输出单元格自动换行不起作用

我正在从 SFrame 中选择文本数据并打印它。文本确实很长,单元格有一个水平滚动条来查看它。我想让它换行并适合我的窗口,...


Sharepoint 文件修改时触发 Synapse Pipeline 的方法

我正在寻找一种在文件被修改时触发 Synapse 管道(运行 Databricks 笔记本和 Web 活动来刷新 PowerBI)的方法。 假设我的 Sharepoint 网站上有一个 data.xlsx


无法让一个 Pod 与另一个 Pod 通信(Pod 间通信不起作用)

我正在管理 Kubernetes 集群,并希望 Pod1 对 Pod2 和 Pod3 进行 API 调用(但 Pod1 - Pod3 失败!): Pod1:用于测试连接的 Jupyter Notebook 环境。 Pod2:运行的 Express.js 应用程序...


无法让一个 pod 与另一个 pod 通信(Kubernetes 中的 ScrapyRT 通信不起作用)

我正在管理 Kubernetes 集群,并希望 Pod1 对 Pod2 和 Pod3 进行 API 调用(但 Pod1 - Pod3 失败!): Pod1:用于测试连接的 Jupyter Notebook 环境。 Pod2:运行的 Express.js 应用程序...


安装“ODBC 驱动程序驱动器和 Databricks 集群”

我的集群上的 init 脚本指向 DBFS 路径。错误显示不再支持 DBFS,我必须移动它的工作区或使用 ABFSS 路径。我搬到工作区 pyodbs.sh 看起来像


Python 代码适用于 JupyterNotebook(本地),但不适用于 Visual Studio Code (ssh)

所以,我有一段用 Python 编写的代码,它在我本地的 Jupyter Notebook 上运行得很好,但是当我在 Visual Studio Code 上运行相同的代码时,它不起作用。 这是代码: ...


由于“tf.shape”和“Tensor.shape”,我的代码出现问题。 `tf.shape` 和 `Tensor.shape` 都不起作用

我已经在 Tensorflow 中从头开始编写 DETR 对象检测管道。 DETR:Kaggle Notebook 链接:包含所有代码;制作您自己的笔记本副本以重现该问题 我已经测试过...


Databricks 上的托管身份 - DefaultAzureCredential 无法从包含的凭据中检索令牌

我正在尝试向天蓝色的服务总线发送消息。 但我收到以下错误: ServiceBusError:处理程序失败:DefaultAzureCredential 失败 从包含的凭证中检索令牌...


尝试在 Azure Databricks 上导入已安装的 Python Wheel 包时出现操作系统错误

我有一个名为 my_sdk.whl 的轮子包,是我在本地开发和构建的。 我还在虚拟环境中使用 pip install my_sdk.whl 测试了这个包,并尝试在...


我尝试从上一个检查点恢复我的 Jupyter 笔记本,但它就消失了。使用 Mac

该文件不在我计算机的垃圾箱中。该文件不在 Jupyter Notebook 中之前所在文件夹中的任何位置。有什么办法可以找到这个吗?我可以进行恢复搜索吗?这...


© www.soinside.com 2019 - 2024. All rights reserved.