大数据是处理极端数据集的概念。问题可能倾向于与基础设施，算法，统计数据和数据结构相关。
如何将数据从生产集群传输到datalab集群进行实时数据分析？
我们正在使用mapr，我们想部署一个新的（datalab）集群，我问的是将数据从生产集群传输到datalab集群的最佳方法？我们用镜像，在...之间
我使用Apache Storm的滑动窗口技术来获取24小时窗口长度和1小时滑动间隔长度的数据。当第一个TupleWindow到达时，每个元组的聚合过程开始......
我有操作系统红帽企业Linux服务器版本7.4（Maipo）Ambari版本2.5.1.0 HDP 2.6完成部署后，2个数据节点无法启动。尝试启动返回错误：文件“/ usr / ...
我使用Python和psycopg2模块从Postgres数据库中获取数据。数据库非常大（几十GB）。一切似乎都在工作，我正在从获取的数据创建对象。 ...
我正在阅读有关傻瓜大数据的书。欢迎来到傻瓜大数据。大数据正在成为最重要的技术趋势之一，有可能大幅改变......
我想了解什么是最适合报告的大数据解决方案？目前我把它缩小到HBase和Hive。用例是我们有数百TB的数据......
在一个热编码器中有一个叫做虚拟陷阱的东西，当我们用3个类别对分类列进行编码，以免说a，b和c然后用一个热编码器我们得到3个类别或列a，......
从包含Map格式的数据的文件创建一个配置单元表（转发 - > 0，loc - > none）
如何从包含Map格式的数据的文件创建一个hive表（转发 - > 0，位置 - >无，情感 - >中性，文本 - >这是班加罗尔另一个保存最好的秘密....
Spark＆Scala：saveAsTextFile（）异常
我是Spark＆Scala的新手，在调用saveAsTextFile（）后我得到了异常。希望有人可以帮忙...这是我的input.txt：Hello World，我是程序员Hello World，我是程序员这是......
Ab Initio图：使用Replicate按键行为进行分区
我问自己一个问题，假设我有一个流量F，它被重复X次。然后，所有复制的流都在相同的键上加入，但每次都有不同的数据集。一世 ...
我希望在我的一个项目场景中对Hadoop等大数据平台的使用有一些专家意见。虽然我理解像......这样的数据库，但我是这项技术的新手。
我是新来的，所以我希望能帮助你并在可能的情况下得到帮助。我在Java中使用Spark SQL和ML Spark创建了一个Apache Spark项目。我已经完成了这个项目，但我有一些问题......
我原来的查询 - CREATE TABLE admin.FctPrfitAmt_rpt AS SELECT rcn。* FROM（SELECT t1。* FROM（SELECT * FROM admin.FctPrfitAmt t2 WHERE t2.scenario_id NOT IN（SELECT DISTINCT t3.scenario_id FROM ...
我试图理解bigQuery，看看它是否符合我们的需求。我们的基本要求之一是存储嵌套结构，使嵌套部分需要单独存储而不是......
我有两个火花数据帧：df1 = sc.parallelize（[['a'，'1'，'value1']，['b'，'1'，'value2']，['c'，'2'， 'value3']，['d'，'4'，'value4']，['e'，'2'，'value5']，['f'，'4'，'...
我在mysql中有一个如下表：Order_Details：+ --------- + ------------ + --------------- ---- + -------------- + ...
关于Google Big Query中数据框中的DateTime与DateTime的问题
我正在尝试将数据从数据框推送到Google Big Query。我将数据框的日期字段设置为df ['time'] = df ['time']。astype（'datetime64 [ns]'）并将Google的Big Query日期设置为* ...
使用python从bigquery处理大量数据集，将其加载回bigquery表
我在bigquery中有一个巨大的数据集，有5000万行和57列。我想做很多过滤/转换/清理而不是使用sql。我尝试使用dask / panda / python在dask中加载数据...
我正在研究hadoop中的概念验证，我可能会设置一个具有HDP和HDF hortonwork组件的集群。数据量非常小，因此磁盘容量可能不需要超过......
我们正面临数据迁移问题。我们有两个负载很重的表。我们曾经实时进行连接并从两个表中获取聚合数据。由于尺寸增加我们想...