large-data 相关问题

大数据是难以处理和管理的数据，因为其大小通常超出用于执行分析的软件的限制。

在更短的时间内通过一次操作在 Firebase 中高效存储 250 万条记录[重复]

我正在开发一个项目，需要在 Firebase Firestore 中存储大型数据集（大约 250 万条记录）。我希望通过一次操作或尽可能高效地实现这一目标

firebase google-cloud-functions nosql large-data

回答 1 投票 0

一次操作即可在 Firebase 中高效存储 250 万条记录

我正在开发一个项目，需要在 Firebase Firestore 中存储大型数据集（大约 250 万条记录）。我希望通过一次操作或尽可能高效地实现这一目标

firebase google-cloud-functions nosql large-data

回答 1 投票 0

分页查询的 BRIN 索引

我有一个很大的静态表。对于“大”，我的意思是 1.000.000.000 行。 “静态”意味着不允许插入/更新/删除。只选择我总是会用“

postgresql indexing large-data

回答 1 投票 0

pivot_longer 具有非常大的 data.frame，内存高效的方法

我有一个包含 1100 万行的医院数据的 data.frame。列：ID（字符）、结果 (1|0)、20x ICD-10 代码（字符）。行数：1060 万行我希望使数据整洁以允许诊断建模

r data.table tidyverse tidyr large-data

回答 1 投票 0

如何在 R 中对向量应用条件

我需要特定类型的替换，事实上，我想在给定特定条件（对于

r dataframe function automation large-data

回答 1 投票 0

如何使用函数 preg_replace 来处理 $patterns 和 $replacements 数组中的大量（1000000）个值？

亲爱的程序员们大家好！我对函数 preg_replace() 的速度有疑问。当我的 $patterns 和 $replacements 数组中的值（单词）很少时，问题不在于...

php arrays replace preg-replace large-data

回答 1 投票 0

存储 HTML 画布图像的最小方式是什么？

我正在尝试制作一个像素艺术动画师，您可以在其中制作像素艺术，但也可以对其进行动画处理，但问题是我希望画布占据我的大部分屏幕，只有一点点空间......

javascript html animation canvas large-data

回答 1 投票 0

存储 html 画布图像的最小方式是什么

javascript html animation canvas large-data

回答 1 投票 0

从快速增长的mysql表拆分为多个表

我们正在使用具有 140cr 行的 Mysql EntityMapping 表，每个实体映射有 1 或 200 万个联系人行，它在过去 5 个月中不断增长。该表包含PK、entityId（索引列）、联系人...

mysql large-data large-data-volumes

回答 1 投票 0

使用 DevxGrid 时处理大型数据库表的最佳解决方案是什么？

我想从asp.net网格转换为devxgrid控件，但我无法确定哪种方法是处理大表的最佳方法（我的意思是SQL中数据行超过1000000的表...

asp.net entity-framework gridview pagination large-data

回答 1 投票 0

如何最大限度地减少所创建的 R 代码的不可接受的长运行时间

有一段代码包含三个 for 循环，运行的数据包含足够的缺失值。主要问题是运行时间长得令人无法接受，似乎至少需要一个多月的时间......

r for-loop runtime missing-data large-data

回答 2 投票 0

K 表示运行时间较长

我有一个包含 300 万条记录、15 列的数据集，我用它来进行客户细分。我使用过 KMeans 和 MiniBatchKMeans，但它甚至在 45 小时后仍在运行（没有运行它们......

python performance scikit-learn k-means large-data

回答 1 投票 0

如何有效过滤和聚合 Pandas DataFrame 中具有多个条件的数据？

我有一个大型 Pandas DataFrame，其中包含多个列，包括类别、子类别、值和日期。我需要根据多个条件过滤此 DataFrame，然后聚合过滤后的

python pandas dataframe performance large-data

回答 1 投票 0

使用 dask 高效扩展 scikit-learn 管道以处理大型数据集

我正在使用 scikit-learn 开发这个 ML 项目，并面临一个大数据集不适合内存的问题。我听说 Dask 可用于扩展大型数据集的管道......

scikit-learn pipeline dask large-data

回答 1 投票 0

如何改进这个 for 循环以索引具有大型数据集的向量的特定行

如果格式不正确或者我遗漏了任何有用的信息，我深表歉意。我正在尝试为几个大型数据集运行带有嵌套 if 语句的 for 循环。

r for-loop large-data

回答 1 投票 0

Python 多处理 - 共享大型数据集

我正在尝试加速受 CPU 限制的 Python 脚本（在 Windows11 上）。 Python 中的威胁似乎无法在不同的 cpu（核心）上运行，因此我唯一的选择是多处理。我有一本大词典...

python python-3.x dictionary multiprocessing large-data

回答 1 投票 0

如何使用{fmt}处理大数据

我开始使用 {fmt} 并编写了一个小程序来看看它如何处理大型容器。看起来 fmt::print() （最终将输出发送到 stdout）在内部首先比较...

c++ large-data fmt

回答 1 投票 0

在 r 中，通过两列高效匹配两个数据框，每行包含电子邮件列表

在R中，我有两个df，df1和df2。他们都有两个列，一个 ID 列和一个电子邮件列。电子邮件列都是列表列，其中每行都是电子邮件列表，或者您可以说 ID 与...

r matching large-data

回答 1 投票 0

MS Excel 中的求和函数

[=IF(I74<=50000,"150",IF(I74<=100000,"200",IF(I74<=150000,"250",IF(I74<=200000,"300",IF(I74<=250000,"350",IF(I74<=300000,"40...

excel function sum large-data nested-if

回答 1 投票 0

Python 多处理：当我在一个巨大的 pandas 数据帧上启动许多进程时，程序会卡住

我正在尝试使用Python的多处理库（pool_starmap）在同一Pandas DataFrame上并行执行同一任务的代码上获得执行时间，但使用不同的调用参数...

python pandas multiprocessing large-data

回答 2 投票 0

large-data 相关问题

最新问题