large-data 相关问题

大数据是难以处理和管理的数据，因为其大小通常超出用于执行分析的软件的限制。

如何随机采样非常大的 pyArrow 数据集

我有一个来自我一直使用的huggingface框架的非常大的箭头数据集（181GB，30m行）。我想随机抽样并替换 100 行（20 次），但是环顾四周后，我无法...

python pandas large-data pyarrow huggingface-datasets

回答 1 投票 0

Python 中的高性能数据帧连接

我有两个数据框，一个有开始数据和结束日期，第二个数据只有日期。基本上，一帧有组，其他帧有子数据。所以我想加入所有即将到来的约会......

python optimization large-data data-processing

回答 1 投票 0

贝叶斯网络[变量消除]：使用pandas合并和groupby内存崩溃

尝试加速我的函数并使它们对于贝叶斯网络上的变量消除算法具有更高的内存效率，但一旦数据帧变得太大，它仍然会崩溃。我创建了一个...

pandas performance memory-management large-data bayesian-networks

回答 1 投票 0

无需下载 TB 数据即可搜索和探索 Laion5B 的最简单方法是什么

我在互联网上搜索了一种方法，但我似乎找不到任何真正有效的方法。它不需要在代码中，我真的只是想搜索和探索数据库以进行研究......

python artificial-intelligence large-data clip image-generation

回答 1 投票 0

在大型数据集中创建唯一 ID 列

在此处输入图像描述`如何在大型数据集中（大约有 26000 个观察值）创建唯一 ID 列来替换旧的唯一 ID？我试过了，但无法更换...

r package dataset large-data uniqueidentifier

回答 1 投票 0

按组填充Python Polars的lazyframe中的空值，以每组中唯一值的数量为条件

我有一个很大的（~300M 行 x 44 列）数据框，我需要根据每个组的特征以某些方式填充空值。例如，假设我们有 lf = pl.LazyFrame( {'g...

window-functions large-data python-polars unique-values

回答 1 投票 0

MySQL INSERT...SELECT 4.2 亿条记录的大型数据集

我有大约 4.2 亿条记录的大型数据集，我能够使用 LOAD DATA INFILE 语句在大约 15 分钟内及时将它们加载到临时表中。我需要这个

mysql bigdata large-data load-data-infile

回答 1 投票 0

如何在Mongo中过滤数百万文档

我正在尝试过滤数百万个文档。每个文档大小约为 7kB。目前，我最多过滤 8 个（已定义）字段，但稍后会添加更多字段。过滤器可以是

mongodb performance large-data

回答 1 投票 0

Python因处理大文件而中断（杀死）进程如何处理？

我有这个小脚本：将 pandas 导入为 pd 导入操作系统导入全局 Novas_列= [ “UF”、“Municipios”、“Área de Ponderação”、“Controle”、“Peso Amostral”、“Região Geográfica”、“Mesorregião...

python pandas large-data kill-process

回答 1 投票 0

在 Rstudio 中使用“Intsvy”包出现重复错误消息

我正在使用“intsvy”包来分析 PISA 数据。使用合并功能，我尝试将2015年学生档案与学校档案合并。但是，我收到一个错误告诉我...

r large-data pisa

回答 1 投票 0

Mapbox 矢量切片 (MVT) 对于较低缩放级别的点图层不可见

我正在使用此 POSTGIS 查询来生成 MVT 切片并可视化大型点层数据。当放大这些图块时，这些图块开始在视觉上出现，但会导致可见图块数量发生巨大变化......

postgis large-data vector-tiles mvt

回答 1 投票 0

使用C#（具有多个键的字典）在大表中搜索值

我在 RAM 中有一个表（来自数据库 + 文件），包含 20 多个字段和 100K 多行。所以我需要按 6 个不同字段搜索行。 C# 中执行此任务的最佳结构是什么？使用列表不好，因为搜索...

c# .net dictionary large-data multikey

回答 1 投票 0

在 Python 中管理大型数据集而不会遇到内存问题

我目前正在使用Python进行一个数据分析项目，需要处理大量数据集。虽然我使用 pandas 这个很棒的工具，但在执行操作时遇到内存问题......

python pandas memory-management data-analysis large-data

回答 1 投票 0

如何统一存储和处理大型数组

在我的统一项目中，我有一个非常大的整数数组。它包含大约 65000 个数组，每个数组长度为 4。当我尝试在程序中使用它时，它崩溃并且 Unity 关闭......

c# arrays unity-game-engine large-data data-storage

回答 1 投票 0

有没有办法在Python中删除一行而不浪费资源？

如标题所示。我有一个非常大的文件，存储为 .txt，大小为 13 GB。在文件中，有一些行在绝对随机的位置标记为[无效]。考虑到该文件是

python performance file large-data resource-management

回答 1 投票 0

循环大范围/数组并操作数据的最快方法

我在Excelsheet_1 A10:H50000中有一个数据范围（是的，它必须从第10行开始），我需要在C列中找到文本“40GP”的匹配项，如果找到匹配项，则当前行需要是

arrays excel vba large-data

回答 1 投票 0

拆分大型数据集中的串联数据。寻求计算时间的改进

我正在处理一个大型数据帧，其中包含一个串联向量，该向量中包含几条信息。我需要提取这些值进行分析，这可以...

r concatenation large-data

回答 2 投票 0

如何在 10^10 个元素的数组中查找第 10^5 个最大元素？

使用种子为 4020 的 PRNG（前 3 个数字为 -2123524894 961034805 1071375651）生成 10^10 个整数。打印生成的数字中第 10^5 大的元素。当然如果有问题...

c large-data median

回答 1 投票 0

React Select 具有非常大的选项列表

我有一个选择组件，需要处理其中大约 7,000 个选项。我遇到两个问题。 1）当输入搜索参数时，加载速度太慢。 2）我需要

javascript reactjs large-data react-select

回答 1 投票 0

如何确定当前可用的 JVM 堆大小？

我有一个管理/缓存大型数据对象的系统。我想确保当它加载下一个对象时，有足够的内存空间。我可能会误解以下概念，但这就是我的地方

java caching jvm heap-memory large-data

回答 1 投票 0

large-data 相关问题

最新问题