azure pyspark sql 中的 aws hive 虚拟列

问题描述 投票:0回答:0

我将 AWS 上的 hive sql 翻译成 azure synapse 上的 pyspark sql。

SQL 中有一些 hive 虚拟列,我想在 azure synapse 上转换为 pyspark sql。

如何替换这些列?

hive虚拟列参考:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+VirtualColumns

-- hive sql on AWS
insert into table log_table
select
    INPUT__FILE__NAME as file_nm
    , BLOCK__OFFSET__INSIDE__FILE as file_location
    , col1
from my_table
amazon-web-services azure databricks virtual-column
© www.soinside.com 2019 - 2024. All rights reserved.