databricks 相关问题

有关Databricks统一分析平台的问题

我试图使用JDBCUtils从Spark截断表postgre_table，但它抛出以下错误<console>：71：错误：值truncateTable不是对象org.apache.spark.sql的成员....

postgresql scala apache-spark jdbc databricks

回答 1 投票 0

如何在Azure Databricks中从本地导入笔记本？我在本地计算机上有DBC格式的示例笔记本，我需要通过Notebook Rest API导入。 curl -n -H“Content-Type：application / json”......

azure curl databricks spark-notebook

回答 1 投票 0

我正在尝试从databricks集群中的amazon s3的分区数据创建一个表。现在我的数据被分区为以下ID，报告和日期所以我已经挂载了数据：％python ...

mysql sql parquet databricks

回答 1 投票 1

我使用saveAsTextFile（）将Spark作业的结果存储在dbfs：/ FileStore / my_result文件夹中。我可以使用网络浏览器访问不同的“part-xxxxx”文件，但我想...

curl filesystems databricks

回答 1 投票 1

我正在使用Databricks运行Spark集群。我想使用curl从服务器传输数据。例如，curl -H“Content-Type：application / json”-H“auth：xxxx”-X GET“https：//websites.net / ...

curl apache-spark databricks

回答 2 投票 0

我想迭代列表中的每个元素并将其传递给函数。这是我尝试但低于错误。 import call_functions newObject = call_functions.call_functions_class（）size_DF ...

python apache-spark pyspark pyspark-sql databricks

回答 1 投票 0

我有以下情况：我有2个数据帧只包含1列让我们说DF1 =（1,2,3,4,5）DF2 =（3,6,7,8,9,10）基本上这些值是键和我我正在创建一个DF1的镶木地板文件，如果键...

python scala apache-spark databricks

回答 2 投票 0

我正在使用azure databricks和blob存储。我有一个存储帐户，每小时存储来自物联网设备的数据。所以文件夹结构是{年/月/日/小时}它将数据存储为......

azure databricks azure-blob-storage

回答 1 投票 0

我尝试将pyspark中的机器学习模型保存到azure blob。但这是错误的。 lr.save（'wasbs：/// user / remoteuser / models /'）非法参数异常：无法初始化WASB文件...

azure pyspark azure-storage-blobs databricks

回答 1 投票 1

我指的是这个链接在我的Databricks环境中实现CI / CD。我已经设置了GitHub并将我的笔记本与我的分支同步。我为每个人创建了一个临时和生产文件夹......

azure github continuous-integration databricks

回答 2 投票 2

有很好的文档可以在azure databricks上逐个安装软件包，但没有办法完成以下操作：pip install -r requirements.txt或者根本不需要使用需求文件。我......

python databricks azure-databricks

回答 1 投票 0