SNOWFLAKE - 即使最大大小超过，仍生成单个文件

Question

团队

我有一个问题要讨论： 在雪花中创建表到文件

我们在压缩中使用了最大文件大小，但有时检索的数据及其存储在文件中的大小会超出。 但是我们删除了 SINGLE=TRUE ，生成了多个文件，并且需要花费大量时间来修复和合并文件。 我们需要知道如果最大文件大小超过的话创建文件的步骤??

copy into @SNOWFLAKE_AZURE_STAGE/data/load/30jan/etl_file_20210223.dat.csv.gz 
                        from DB.SOURCE_TABLE 
                        file_format = (
                            type = csv
                            COMPRESSION = 'gzip'
                            field_delimiter = '|'
                            field_optionally_enclosed_by = NONE
                            empty_field_as_null = FALSE
                            RECORD_DELIMITER = ''
                            escape='None' 
                        )
                        OVERWRITE = TRUE
                        MAX_FILE_SIZE = 5368706371
                        SINGLE = TRUE
                        HEADER = True;
                    

Answer 1

你能提供更多细节吗？

1. 为什么需要合并文件？ 最好有多个文件而不是一个大文件
2. 为什么“花费大量时间来修复和合并”？您使用什么流程？ 你使用脚本来合并吗？