我将 AWS 上的 hive sql 翻译成 azure synapse 上的 pyspark sql。
SQL 中有一些 hive 虚拟列,我想在 azure synapse 上转换为 pyspark sql。
如何替换这些列?
hive虚拟列参考:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+VirtualColumns
-- hive sql on AWS
insert into table log_table
select
INPUT__FILE__NAME as file_nm
, BLOCK__OFFSET__INSIDE__FILE as file_location
, col1
from my_table