[大数据与云计算有什么关系?我试图解释大数据与云计算之间的关系。
它们重叠。一个不依赖于另一个。云计算使公司可以随着时间的推移租用基础架构,而不必为计算机支付前期费用并随时间进行维护。
通常,云供应商允许您出租大量服务器池并建立服务器(集群)网络。
您可以为具有大型存储驱动器的服务器付费,并安装Hadoop FileSystem(HDFS),Ceph,GlusterFS等软件。这些软件将组成一个“共享文件系统”。将更多服务器合并到此文件系统中,可以存储更多数据。
现在,这只是存储。希望这些服务器还具有一定数量的内存和CPU处理量。其他技术(例如YARN(带有Hadoop),Apache Mesos,Kubernetes / Docker)允许您创建资源池来部署分布在所有这些服务器上的分布式应用程序,并读取存储在所有其他计算机上的数据。
块存储。另一种更便宜的选择是object storage,例如Amazon S3,它是Hadoop兼容的文件系统。还有其他对象存储解决方案,但是人们会使用它,因为它具有更高的可用性(通过复制),并且可以通过访问密钥和策略更轻松地进行保护]
当客户需要快速部署和扩展应用程序时,他们可以转向云计算。该应用程序处理高度敏感的数据,并要求严格的合规性,因此应将其保存在云中。鉴于我们可以将大数据用于传统方法,因此框架无效。大数据不能代替关系数据库系统,大数据可以解决与大数据集有关的特定问题陈述,并且大多数大数据集都不能处理小数据。
大数据技术是Hadoop,MapReduce和HDFS。云计算包括三种类型:公共云,私有云,混合云和社区云。云计算为企业提供了一种经济高效且灵活的方式来访问我们称为大数据的大量信息。由于有了大数据和云计算,现在创办IT公司比以往任何时候都容易得多。当大数据和云计算的结合首次提出时,它为无限可能打开了道路。通过这种组合,各个领域都看到了许多巨大的变化。它改变了公司的决策过程,并为分析师提供了巨大的优势,他们可以将结果基于具体数据。