从PBI语义模型中读取表并将数据写入Fabric中的Warehouse

Question

我们可以使用 PySpark Notebook 从 Microsoft Fabric 中的 PBI 语义模型读取表并将其写入仓库吗？ 我能够对湖屋执行上述操作，但无法对仓库执行上述操作。请让我知道如何继续。

我在 Lakehouse 的笔记本中使用了 pyspark 代码。下面是代码。我想要同样的仓库。

from pyspark.sql import SparkSession

# Initialize Spark session
spark = SparkSession.builder \
    .appName("LakehouseIntegration") \
    .config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension") \
    .config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog") \
    .getOrCreate()

# Read data from the Lakehouse
df = spark.sql("SELECT * FROM pbi.`Financials_Test`.`financials`")

# Write the DataFrame to the Lakehouse
df.write.mode("overwrite") \
    .format("delta") \
    .option("delta.columnMapping.mode", "name") \
    .option("delta.minReaderVersion", "2") \
    .option("delta.minWriterVersion", "5") \
    .saveAsTable("Fin")

Answer 1

直接从 Spark 写入 Warehouse 已在路线图上。 但是，如果您向同一工作区中的 Lakehouse 写入数据，则可以使用由 3 部分组成的名称从仓库中读取该表，例如

select * from MyLakehouse.dbo.MyTable