large-data 相关问题

大数据是难以处理和管理的数据，因为其大小通常超出用于执行分析的软件的限制。

如何在不重新启动整个进程的情况下删除 SQL Server 事务复制错误。我们大约有 10 亿

我们在大约 40 个表上设置了事务复制。除了大桌子之外，这对于小桌子来说效果很好。我们的表中有大约 10 亿行，复制需要很长时间。

sql-server synchronization replication large-data

回答 1 投票 0

apache airflow 可以处理 TB 级数据（约 50 TB）的 ETL 过程吗？

我的数据库中有大约 50TB 的数据需要经过 ETL 过程。这些数据位于本地数据库系统中。为此，我计划使用 Apache Airflow 进行提取，

apache airflow etl large-data elt

回答 1 投票 0

在 pytorch 中在非常大的稀疏矩阵上训练神经网络

我有一个包含大约 7400 万个观察值的数据集。每个观察结果都由约 1,000 个特征表示，并用最多约 3,200 个二元类进行标记。大多数个人观察结果都是实验室...

python pytorch sparse-matrix large-data

回答 1 投票 0

如何在 C# 中高效处理大型 JSON 数据？

我正在开发一个项目，需要在 C# 中处理和操作大型 JSON 数据集。但是，在处理包含数千条记录的文件时，我遇到了性能问题。什么是...

c# json performance optimization large-data

回答 1 投票 0

python pprint打印大数据有什么限制吗？

抱歉，如果我的英语不好，我的母语是韩语。我试图将一个大列表打印到一个文本文件中，其大小类似于 len(repr(lst)) == 64xxx。但是当我尝试一些东西时我...

python python-3.x large-data large-files pprint

回答 2 投票 0

从非常大的 CSV 计算粗略统计数据的最佳方法

我有一些 CSV 格式的数据（160 亿行，170 列）。我可以使用 cut 提取每一列，并使用 pd.load_csv() 将文件中的“仅”一列加载到 Pandas 中，但这很痛苦......

python pandas large-data median standard-deviation

回答 1 投票 0

python flet 中的高效数据表

我正在sqlite3和flet模块的帮助下用python开发一个图书馆管理系统。我使用了 DataTable 控件，如下所示：类 BooksStatusControl(ft.UserControl): def __i...

python large-data flet

回答 1 投票 0

使用 PDL - Perl 进行大型矩阵乘法

我需要通过SQL生成（40000 x 20000）矩阵并像A'A一样执行矩阵运算。然后我需要获取特征值和特征向量。你能建议我用 Perl 实现这个的方法吗？（妈...

perl matrix-multiplication pdl large-data

回答 3 投票 0

如何在 Cython 中将大型 malloc 数组返回或保存为 Python 对象？

我想使用 Cython 从模型创建大量模拟样本，稍后需要使用 Python 进行分析。我的模拟脚本运行一次的结果应该是 10000 x 10000 arr...

python multidimensional-array malloc cython large-data

回答 1 投票 0

PHP - 从目录读取大量文件

我有一个包含大量图片的文件夹（至少10000个文件），我需要使用PHP获取所有这些文件的名称。问题是当我使用 scandir() 时出现有关内存限制的错误。另外，我尝试...

php file-handling large-data

回答 2 投票 0

为什么malloc这么大的内存会出现访问内存错误？

正如你所看到的，当我运行它时，我遇到了内存访问错误。但是如果我将malloc_size更改为100，它可以工作。如何在不更改 malloc_size 的情况下修复它。 int malloc_size = 900000；浮动* ptr = (

c++ windows memory-leaks malloc large-data

回答 1 投票 0

如何通过从 R 中的 dfs 列表的每个 df 中提取列来创建 df？

我有很多像 split_plot_data2 这样的数据框列表，我想制作一个单独的单个数据框，其中第 3 列和第 2 列将在那里。第 3 列对所有人来说都是通用的，第 2 列将单独广告...

r dataframe large-data

回答 1 投票 0

将数百万行从 Power BI 桌面导出到 CSV

有没有办法将 Power BI 桌面中的数百万行导出到 CSV 文件中？限制是：无需复制和粘贴（PC 内存耗尽）无法使用Power query Python脚本（公司电脑，...

database powerbi large-data

回答 1 投票 0

如何解决django加载大量数据的问题？

我正在尝试为我的工作项目编写一个像 IMDb 这样的应用程序。在这个应用程序中，我需要在 MySQL 数据库中存储 8700 部 IMDB 电影以及大约 40k 名导演和演员，当我试图 pos...

python django autocomplete frameworks large-data

回答 1 投票 0

nchar(Tony.raw$neighborhood_overview) 中的错误：“nchar()”需要字符向量

我遇到以下错误消息： nchar(Tony.raw$neighborhood_overview) 中的错误： 'nchar()' 需要一个字符向量我不知道为什么nchar无法读入neighborhood_overview colu...

r csv large-data nchar

回答 1 投票 0

有关在具有大量特征的大型数据集上进行聚类（和/或）降维的建议

我有一个包含 38,000 个特征和 700 万个数据点的数据集（不确定这是否相关，但很多特征都是稀疏的）。我的任务是对这些数据进行一些聚类。我以为...

python cluster-analysis large-data dimensionality-reduction

回答 1 投票 0

如何使用 python 在非常大的数据集中进行搜索和替换？

我有一个大型数据集（超过 100 万行）和几个定期更改的 GB。它通过将流网络中的每个条目与其上游邻居相关联来对流特征进行建模。该...

python pandas indexing typeerror large-data

回答 1 投票 0

是否可以使用Python优化大数据处理的for循环？

问题：您将获得一个函数的实现：定义解(A) 它接受由 N 个整数组成的非空数组 A 作为输入。该函数在处理大量输入数据时运行缓慢，而且......

python optimization multiprocessing large-data

回答 1 投票 0

优化数据帧操作

我有包含团队处理的任务详细信息的数据集；对于每个任务，都会保存不同的属性。根据这个数据集，我想找到员工选择新任务的时间......

python pandas vectorization large-data

回答 1 投票 0

如何从SQL表中下载大数据并通过一次获取1000条左右的记录连续保存到csv中

我有一个由1000万行和很多列组成的SQL表，查询时的表大小约为44 GB。但是我试图从此表中仅获取 3 列并将其保存到 csv /...

python mysql csv dataframe large-data

回答 2 投票 0

large-data 相关问题

最新问题