hadoop 中的数据存储复制与云中的雪花

问题描述 投票:0回答:2

在hadoop中,为了容错,数据被复制三次(默认) 例如:如果输入数据为 5 GB 大小,则将数据复制为 15 GB,并在转换后将数据存储在其他存储区域(5GB)中。 总计(在 hadoop 中)= 25gb

那么雪花中数据是如何存储和复制的。与hadoop相比,雪花架构中是否存在存储复制? 雪花=?

hadoop snowflake-cloud-data-platform
2个回答
0
投票

Snowflake 本身不复制数据,但是,它使用特定于云供应商的对象存储,通常提供多个级别的复制(例如 Amazon AWS 中的 S3 用于 AWS 托管的 Snowflake 区域)。另请参见例如Snowflake 2016 年 SIGMOD 论文第 4.2.1 节

如果您从成本角度询问,则该复制对用户是隐藏的,“标价”就是用户支付的费用。请注意,Snowflake 按“压缩”数据大小收费。根据数据的不同,该大小可以小于或大于输入大小。


0
投票

虽然 Snowflake 不会在同一帐户内复制数据以实现容错,但它提供了跨不同帐户、区域或云平台复制数据库的功能,以实现灾难恢复和数据共享等目的。

https://docs.snowflake.com/en/user-guide/account-replication-intro

© www.soinside.com 2019 - 2024. All rights reserved.