bigdata 相关问题

大数据是处理极端数据集的概念。问题可能倾向于与基础设施，算法，统计数据和数据结构相关。

如何将sklearn的GridSearchCV与不适合内存的数据一起使用？

我有一个太大而无法容纳在内存中的数据集，所以我必须分批训练模型。我已将模型包装在GridSearchCV，RandomizedSearchCV或BayesSearchCV（来自scikit-optimize）中...

python scikit-learn bigdata grid-search

回答 1 投票 1

如何用qlik意义上的另一种方式替换大数据（大约数百万行）的for循环

我有大约数百万行的大数据。我必须生成需要循环数据表中所有行的字段。此循环使性能低下且不执行。那有什么办法还是......

foreach bigdata database-performance large-data qliksense

回答 1 投票 0

Java中的大数据处理

我正在开发一个项目，我收到的大约10个文件，每个文件包含200GB的大小。我的项目要求是从每个文件中提取数据并与其他文件连接...

java hadoop bigdata apache-beam

回答 1 投票 -1

如何在特定模式的pandas / python中加载大于10gb的json文件

我有一个11gb的json文件，我无法在熊猫中加载它。（来源：http：//jmcauley.ucsd.edu/data/amazon/）上述链接中的元数据是我正在使用的文件。元数据：元数据包括......

python pandas bigdata

回答 3 投票 6

获取已打开文件的地址和值

我需要使用Python从大二进制文件中读取特定字节。使用f.seek（）需要很长时间。有没有任何方法来获取文件的第一个字节的地址，然后将地址添加到...

python algorithm bigdata memory-address

回答 1 投票 0

Neo4j删除图形内存不足

我在Linux机器16G内存上使用neo4j，我正在尝试删除所有图形。它有11353056关系与19900个节点。当我运行Match（n）分离删除n加载一段时间后我...

memory graph neo4j bigdata

回答 2 投票 2

查询WHERE子句不起作用

这是继续将Hbase与Hive集成的问题：注册Hbase表。我从Hive查询外部Hbase表。当我做一个简单的查询时，从Document_Table_Hive中选择* ...

hive hbase bigdata hortonworks-data-platform

回答 1 投票 3

有没有好的BigData / IoT参考架构？

我正在为一个应用程序寻找一些参考架构：地理可扩展：允许从遍布全球的节点（可能像物联网）中获取数据。半-...

architecture iot bigdata

回答 2 投票 -1

AbstractJavaRDDLike << >>类型中的方法.map不适用于参数

我在talend收到错误。 PFA。请查看映射的更多详细信息。你能帮帮我吗？谢谢汤姆

tsql bigdata spark-dataframe rdd talend

回答 1 投票 0

Apache Spark：在PairFlatMapFunction中，如何将元组添加回Iterable >返回类型

我是新来的。我一直在研究涉及两个数据集的代码。因此，我开始使用PairFlatMapFunction，我正在处理映射器。 JavaPairRDD ...

java hadoop apache-spark rdd bigdata

回答 2 投票 1

Keras fit_generator仅对数据扩充或从磁盘读取（/ network）有用

数据可能不适合GPU内存（包括激活和渐变），其中一个使用迷你批次，并且它可能不适合RAM，其中一个使用fit_generator。或者至少，后者是我的......

keras bigdata

回答 1 投票 1

需要在hive中明确hiveconf和set命令

我需要澄清一下使用这些变量：set a = $ {env：ab}; $ {hiveconf：a}这些变量的用途是什么以及在哪种环境下？

hadoop hive bigdata

回答 1 投票 0

地图减少如何工作..我说得对吗？

我试图理解map-reduce实际上是如何工作的。请阅读我在下面写的内容，并告诉我这里是否有任何遗漏的部分或不正确的东西。谢谢。数据首先被拆分......

hadoop mapreduce hdfs bigdata storage

回答 2 投票 0

查找python中一组字符串的最小汉明距离

我有一组n（~1000000）字符串（DNA序列）存储在列表trans中。我必须找到列表中所有序列的最小汉明距离。我实施了一个天真的暴力算法，......

python algorithm bigdata hamming-distance

回答 4 投票 6

计算Java中+ 2000万条记录的统计数据

我有csv文件（600 MB）和20百万行。我需要读取所有这些数据，从中创建java对象列表，并计算对象字段的一些指标，如平均值，中位数，最大值，总数......

java csv stream bigdata

回答 4 投票 1

如果我想使用历史数据预测未来在线购物的购买量，我是否需要数据科学或数据分析或大数据？

我想学习预测未来事件，比如......能够使用过去二十年的飞机失事数据预测2018年飞机失事的数量......或者......预测有多少T恤衫与贾斯汀...

data-analysis data-science bigdata

回答 2 投票 1

如何在cloudera中为Hue添加jar文件？

我正在JSON serde表上运行SQL查询。它在Hive CLI中工作，但它在色调失败时出现错误：处理语句时出错：FAILED：执行错误，从...返回代码2

hadoop hive cloudera hue bigdata

回答 3 投票 1

计算数组大数据中的对象

我怎么能算出这个数组对象中有多少个对象？在子对象中还有带对象的数组。不是很容易理解...你好看了stackoverflow但没有找到...

javascript arrays object bigdata

回答 2 投票 0

使用ES电源批量插入后删除重复项

我有这种类型的索引：{“email”：email，“data”：{domain：[{“purchase_date”：date，“amount”：amount，}]}这是我写的Python方法，它插入数据......

python-2.7 elasticsearch bigdata

回答 1 投票 1

为什么在会话超时值之后没有从zookeeper中删除临时节点

我正在CuratorFrameworkFactory.newClient方法的帮助下创建一个Empheral节点，该方法采用znodes地址，sessiontimeoutinms，connectiontimeoutinms，Retry）。我已经通过5 * 1000作为......

hadoop bigdata apache-zookeeper apache-curator

回答 2 投票 0

bigdata 相关问题

最新问题