bigdata 相关问题

大数据是处理极端数据集的概念。问题可能倾向于与基础设施，算法，统计数据和数据结构相关。

MariaDB / MySQL 上的计数（*）极其缓慢

运行 EXPLAIN SELECT COUNT(*) FROM 活动显示它计划使用二级索引，并且只有一列 int 和 keylen 为 5。操作需要 2 分钟到 6 分钟不等，偶尔发生

count bigdata innodb partition

回答 1 投票 0

将非常大的表包含到代码中的正确方法是什么？ С++

我的代码中有非常大的哈希表，它们用于计算。现在这两个表是一个包含 5,000,000 个 float 类型的数组。可能会有更多的桌子，尺寸更大。当我加入...

c++ arrays bigdata hashtable clion

回答 1 投票 0

根据工作线程、核心和 DataFrame 大小确定 Spark 分区的最佳数量

Spark-land 中有几个相似但不同的概念，围绕如何将工作分配给不同的节点并同时执行。具体来说，有： Spark 驱动程序节点 (

apache-spark apache-spark-sql distributed-computing partitioning bigdata

回答 2 投票 0

使用Python在地图上进行交互式大2D点云数据可视化

我有一个2D点云数据时间序列。数据的形状是[N,T]。 N是一个很大的数字（百万），T是2D点云图像的数量，一般小于300。我也有

bigdata visualization point-clouds holoviews datashader

回答 1 投票 0

从 scala 中的 CSV 文件加载时，我需要从数据框中跳过三行

我正在将 CSV 文件加载到数据框中，我可以做到这一点，但我需要跳过文件中的前三行。我尝试了 .option() 命令，将 header 设置为 true，但它忽略了唯一的...

scala apache-spark bigdata

回答 4 投票 0

如何将JSON格式的大数据发送给GEMINI请求分析？

导入路径库导入 json 导入文本换行将 google.generativeai 导入为 genai 从 IPython.display 导入显示从 IPython.display 导入 Markdown def to_markdown(文本): 文本 = 文本.repla...

python json bigdata google-gemini gemini

回答 1 投票 0

Python 中检索日志属性的最有效方法 |用逗号分隔

下面，我粘贴了我们不断收到的日志（流式传输）。我需要提取并解析它们。 Log1 =“2024-04-03T09:51:17+0000 logType，xyz=设备1，xyz1=HR，操作=允许，

python regex bigdata streaming logparser

回答 2 投票 0

澄清 Spark 物理计划交换哈希分区中“[id=#]”的含义

在查看 Spark 物理计划以查找代码中的任何瓶颈时，我偶然发现了一个出现在分区阶段的 ID。 +- *(2) 排序 [Column#46 ASC NULLS FIRST], true, 0 +-

python apache-spark pyspark apache-spark-sql bigdata

回答 1 投票 0

Rsync 性能 - 同步单个大文件与同步多个小文件

我正在使用 rsync 同步许多小文件（每个 4.5 MB）。我使用的 bwlimit 为 18000。我将执行批量 rsync 命令，以便， rsync -v 目标主机：文件 1 目标主机：文件 2 目标主机：文件 3

unix rsync bigdata file-copying

回答 1 投票 0

针对大数据的高效 Python 排序

我目前正在开发一个项目，该项目涉及在Python中有效地对大型数据集进行排序。我尝试使用内置的排序（）函数，但我注意到它没有执行最佳...

python performance sorting optimization bigdata

回答 1 投票 0

如何使用 matplotlib 可视化可读的大数据集？

当尝试用Python可视化大数据集时，绘图和日期变得不可读。如何保证数据始终保持可读？欢迎所有解决方案，包括使用其他包...

python matplotlib bigdata

回答 1 投票 0

如何创建presto资源计算器

嗨想要为我组织的不同团队创建一个 presto 资源计算器来计算集群 CPU 核心和内存需求根据我的理解，以下是德...

apache-spark bigdata presto presto-jdbc

回答 1 投票 0

如何下载、然后存档并将zip发送给用户而不将数据存储在RAM和内存中？

我需要通过HttpClient从S3下载照片，然后将其存档为zip而不压缩，并将存档发送给用户。但是我无法将 zip 存储在 RAM 中，也无法创建临时文件...

asp.net async-await zip bigdata

回答 1 投票 0

如何从 sql 查询创建大型 pandas 数据框而不耗尽内存？

我在从 MS SQL Server 数据库查询包含超过 500 万条记录的表时遇到问题。我想选择所有记录，但在将大量数据选择到内存中时，我的代码似乎失败了。这我...

python sql pandas out-of-memory bigdata

回答 11 投票 0

如何在 React 中使用大型 json 文件？

在我的 React 项目中，我有一个 350 MB 的 json 文件，在执行过滤操作的表中使用该文件。我应该以什么方式将其从服务器中拉出，或者应该将其静态保持在反应状态？什么...

reactjs json bigdata ag-grid

回答 1 投票 0

数据库结构/文件格式可持久保存 100TB 表并支持在 Spark SQL 中使用谓词进行高效数据跳过

我正在优化 Spark SQL ETL，以频繁地从 S3 上的 1000 亿行、100TB parquet 格式表“event_100B”中选择 0.1% 的数据。表 event_100B 包含唯一键列 EventId (32...

sql filter apache-spark-sql bigdata parquet

回答 1 投票 0

Aws Athena SQL 查询在 Apache Spark 中不起作用

我的查询在 Athena 中工作，但在 Spark SQL 中不起作用。询问- 将 cte 作为 ( 选择年份（日期）作为年份，计数（*）作为总计，计数（col1）作为 col1_not_null，计数（col2）作为 col2_not_null 来自

sql apache-spark apache-spark-sql bigdata amazon-athena

回答 1 投票 0

如何在 R 中使这个匹配函数更快？目前需要6-7天，这不切实际

我有两个数据文件要开始：一个是暴露个体的队列（100000 行），另一个是跨越 5 年时间段的一般人群队列（约 300 万行）。我正在尝试创建一个

r function performance for-loop bigdata

回答 1 投票 0

我如何在 Gathr 中请求连接器

我是 ETL 开发人员，正在寻找 Gathr 中不可用的数据源连接器，并且我不知道如何请求新的连接器。现在，由于

bigdata etl data-pipeline

回答 1 投票 0

scala.reflect.internal.MissingRequirementError：编译器镜像中找不到对象 java.lang.Object

我正在尝试使用 sbt 包构建 Spark 流应用程序，我无法发现此错误的原因是什么。这是错误的一部分 scala.reflect.internal.MissingRequirement...

scala apache-spark bigdata

回答 5 投票 0

bigdata 相关问题

最新问题