bigdata 相关问题

大数据是处理极端数据集的概念。问题可能倾向于与基础设施，算法，统计数据和数据结构相关。

比较两个数据集后，我想提取诸如以下信息：仅在表A中存在的行在表B中仅存在的行连接后的非键值差异是什么...

sql database bigdata

回答 1 投票 -1

我有一个rdd＆apply集合后，如下所示； rdd = [（'Amazon'，'2016/01/09'，'17：06：24'，'17：10：03'），（'Amazon'，'2016/02/09'，'17：06 ：55'，'17：10：00'），（'Amazon'，'2016/02/09'，'17：10：...

python python-3.x pyspark bigdata rdd

回答 1 投票 0

Android Studio正在加载大数据以在Recyclerview中显示

关于在Recyclerview中加载可能的大数据，我需要您的意见。可以说我有一个item的recyclerview，每个item代表着数千个文本行的数据集。如果...

performance android-studio android-recyclerview bigdata

回答 1 投票 0

如何在Talend大数据作业中迭代tHiveInput？

是否有一种方法可以在大数据任务中迭代tHiveInput？

java bigdata talend

回答 1 投票 0

R中进行此字符串正则表达式处理的最快替代方法是什么？

我正在处理75GB的XML文件，即不可能将它们加载到内存中并构建DOM XML树。因此，我在...

r xml parsing bigdata tidyverse

回答 1 投票 1

如何通过大数据Apache传达omnet ++仿真

我的项目有问题。我想实时将oment ++与大数据apache（即Kafka apache）通信。为了进一步说明，从omnet ++仿真获得的数据必须在真实的 ....>

rest bigdata omnet++ application-server

回答 1 投票 0

检查data.table列中所有元素的最佳方法，以查看另一data.table列中的每个值是否出现[R]

如果每个值都出现在不同的data.table列中，那么检查data.table R中满列的最快方法是什么？示例问题：创建示例大数据：dt1

r data.table bigdata lookup

回答 1 投票 3

是否有类似Redis DB的东西，但不受RAM大小的限制？ [关闭]

database redis nosql bigdata

回答 3 投票 40

Dynamodb查询错误-不支持查询键条件

我正在尝试查询我的dynamodb表以获取feed_guid和status_id =1。但是它返回查询键条件不受支持的错误。请找到我的表架构和查询。 $ result = $ dynamodbClient-> ...

amazon-web-services bigdata amazon-dynamodb

回答 2 投票 10

带有laravel的mongo数据库计数查询需要很长时间

我有问题，并且在互联网上进行了大量搜索，没有任何结果。我有mongo数据库，该数据库具有这样的数据{“ _id”：ObjectId（“ 5ddfc2da7f86bf52c2472ea5”），“ sys”：“ 2019-11-28”，“ time”：...

php laravel mongodb bigdata

回答 1 投票 0

如何通过沿数组移动特定大小的窗口将numpy数组划分为n个块

我有一个很大的NumPy数组，我想通过移动特定大小的窗口将其分成许多子数组，这是我的代码，对于大小为11的子数组：T = np.array（[]）for i in range （0，len（x）...

python arrays pandas numpy bigdata

回答 1 投票 1

使用R来解决Lucky 26游戏

我正试图向我的儿子展示如何使用编码来解决游戏所带来的问题，以及了解R如何处理大数据。有问题的游戏称为“幸运26”。在这个游戏中（1-12 ...

r bigdata permutation

回答 3 投票 4

将PySpark数据框导出到Azure Data Lake永远需要

pyspark bigdata hdinsight

回答 1 投票 0

saveAsObjectFile和持久保存在Apache Spark中有什么区别？

我正在尝试比较Java和Kryo 序列化，并将rdd保存在磁盘上，使用saveAsObjectFile时，它的大小相同，但是在持久性上，它在spark ui中显示不同。 Kryo一个是...

scala apache-spark serialization bigdata

回答 1 投票 0

如何处理oozie协调器中的日光节约？

由于日光节约，我所有计划的工作（使用oozie）都在稍后的一个小时内运行。在DST之前：我的工作在DST之后的每天8:00 pm运行：现在，工作在9:00 pm可以运行，就可以知道... ...>

hive bigdata oozie oozie-coordinator oozie-workflow

回答 1 投票 0

将复杂字符串字段中的多个值转换为可数结构

例如对于一个字段中的数据：“ {”“ noAbsolutValues”“：{”“ HIGHLIGHTS”“：[”“ engineData_startStopSystem”“，”“ search_parkingAssistants”“，”“ heatingCooling_climatisation”“，”“ multimedia_navigationSystem”“，”“。 ..

sql google-bigquery bigdata re2

回答 1 投票 0

加入两个RDD，其中一个只有键，没有值

给出两个大型RDD，a具有一组（键，值）对，而b仅具有键，那么将它们连接起来以使a仅保留与b的键匹配的行的最佳方式是什么？更具体地说，...

scala apache-spark bigdata rdd

回答 2 投票 0

Apache Spark 2.4：为什么会有“不广播”？

我已使用“ --conf”，“ spark.sql.autoBroadcastJoinThreshold = 536870912”，512MB配置了spark-submit，但是DAG仍未广播该联接的较小端。 ...

performance apache-spark bigdata broadcast

回答 1 投票 -1

将3个月减去yyyymm月格式列配置单元sql

在HiveSql中，我需要一个yearmonth [yyyymm]列，我需要从中减去3个月。例如：如果yearmonth是201912，则所需的记录是201909有人可以帮我提供语法或... ...