large-data 相关问题

大数据是难以处理和管理的数据，因为其大小通常超出用于执行分析的软件的限制。

显示大数据表

免责声明：我的职业生涯是从事嵌入式软件，最近我才涉足桌面应用程序。我正在开发的应用程序具有一个模拟，该模拟生成一个稀疏的二维矩阵，它的...

c# datagridview virtualmode large-data

回答 1 投票 0

不知道长度时如何在SQL Server中存储varbinary（max）和varchar（max）数据（使用C ++ ODBC）

如何使用C ++ ODBC API存储varbinary（max）和varchar（max）列。有什么建议吗？我正在使用SQL Server本机客户端。我正在使用列方式绑定来绑定参数数组。 ...

c++ sql-server odbc large-data sqlbindparameter

回答 1 投票 1

处理（存储在json中的大数据集的最有效方法是什么？

我有一个json，其中包含以360k行代码编写的28k对象。我有一个程序，它可以解码json，然后使用解码后的数据（Google地图中的28k标记）。解析json的函数是...

json swift xcode large-data

回答 1 投票 0

加快大型LP（> 1000万个决策变量）求解时间的方法

我有一个大型LP，具有超过一千万个决策变量和几乎相同数量的约束。我使用CPLEX来解决LP，但要花大约20个小时才能解决，这是在...

performance large-data cplex quantum-computing

回答 1 投票 1

如何基于生成器创建数组？

说我有一个大数组：A = 2 * np.ones（[100，100，100]）我想对其进行一些计算，例如：def squared_elements（M）：yield M ** 2我选择使用生成器函数，因为我的...

python function numpy generator large-data

回答 1 投票 0

大数据集对训练模型大小的影响？

[如果数据集很大，是否意味着模型大小也会很大？

deep-learning dataset large-data

回答 1 投票 0

内存错误，具有1GB矩阵，64位Python和RAM负载

[[注意：虽然已经有一些关于在numpy中处理大型矩阵的文章，但是它们并不能解决我的特定问题。]我正在尝试加载存储在.... txt文件的...中的30820x12801矩阵...

python numpy large-data

回答 1 投票 0

Python通过等待直到内存可用来处理内存错误

我正在尝试在具有多个用户的系统上加载和处理非常大的文件。是否可以通过使脚本重试在...

memory-management python-3.6 shared-memory large-data large-files

回答 1 投票 0

我的计划建议-大量的学生和年级数据集，希望对最低2％的学生进行分类

我有一个数据集，其中包含全国学生及其成绩的社会经济指标。更具体地说，该数据集包含36个变量，其中约有3000万学生作为预测变量...

python tensorflow machine-learning classification large-data

回答 1 投票 2

为什么使用setTimeout的函数不会导致堆栈溢出

我正在编写用于处理大量数据的测试。令我惊讶的是，如果我在函数中添加了setTimeout，它将不再导致堆栈溢出（对于该站点是多么合适）。这是怎么回事...

javascript asynchronous settimeout stack-overflow large-data

回答 2 投票 0

使用vaex绘制大数据

我一直在努力创建具有数百万行的csv图。我试图使用vaex模块，但卡住了.. import vaex＃将大的csv转换并读取为hdf5格式df = vaex.open（“ ...

python hdf5 large-data vaex

回答 1 投票 1

基于多个列的值的具有重复键的两个大型DataFrame的有条件合并/连接-Python

我来自R，老实说，这是使用R data.tables在一行中做的最简单的事情，对于大型数据表，该操作也非常快。 Bu我真的很努力地在...

python join merge conditional-statements large-data

回答 1 投票 0

更新MySQL表中的大量行

我正在使用关系数据库（MySQL 5.7）。在此数据库上，我有一个名为customer_transaction的表。在此表上，我有4列：id，customer_id，类型，金额| id | customer_id |类型|金额| ...

mysql large-data

回答 1 投票 0

插入具有数百万行的性能

我正在尝试使用Python脚本来解析Wikipedia档案。（是的，我知道。）当然：Wikipedia XML：45.95 GB可用内存：16 GB这排除了将文件加载到内存中，然后进行...

python sql database sqlite large-data

回答 1 投票 4

将较大的csv转换为用于sklearn的稀疏矩阵

我有一个以csv格式保存的〜30GB（〜1.7 GB压缩| 180K行x 32K列）矩阵。我想将此矩阵转换为稀疏格式，以便能够将完整的数据集加载到内存中，以用于...

python matrix scikit-learn sparse-matrix large-data

回答 1 投票 0

使用熊猫比较不同块中的值

假设我在内存中有一个大文件，该文件是使用pandas中的chunksize加载的。现在，我必须将每个值与其相邻的值进行比较。我的问题是我似乎无法同时选择...

python python-3.x pandas dataframe large-data

回答 1 投票 0

读取和写入Networkx图的有效方法

对于一个开源项目，我正在尝试使用NetworkX来查找图（称为状态转换图）的吸引者。事情是针对将近2 ** 33个循环，一个具有各种输入的函数...

python graph networkx large-data

回答 1 投票 0

大型数据集的分类模型

我想在n = 3000000和12列的数据集上实现分类模型。我有一个问题，因为下班后很慢，我什么也没收到，您是否对...

python pandas scikit-learn classification large-data

回答 1 投票 -1

使用分块从MySQL DB检索大数据并保存它们的数据框熊猫

我想从一个SQL数据库中检索大约1亿行30列数据到一个数据帧中，我可以根据某些要求对其进行排序和过滤。我只有2个Gig内存。一切...

python mysql pandas large-data

回答 1 投票 0

是否可以在网格FS中使用mongoDB地理空间索引

我拥有一个超过16MB的大型geojson功能集。我希望将数据插入MongoDB，以便可以利用MongoDB提供的地理空间功能（$ geoIntersects，$ ...

mongodb geospatial large-data gridfs mongodb-geospatial

回答 1 投票 0

large-data 相关问题

最新问题