large-data 相关问题

大数据是难以处理和管理的数据,因为其大小通常超出用于执行分析的软件的限制。

当向量的大小太大时,如何解决C ++中内存不足的问题?

#include #include int main(void){std :: vector vstr1(131,“ ...]] >

回答 1 投票 0

如何在群集上存储TB大小的C ++阵列

我想做一个巨大的仿真,需要大约1 TB的数据来描述一堆相互作用的粒子(每个粒子都有不同的相互作用)。是否可以将此数据存储在C ++数组中?我有...

回答 1 投票 0

H5py,将匹配的行从巨大的hdf5文件合并到较小的数据集

我有两个巨大的hdf5文件,每个文件都有一个ID索引,每个文件包含有关每个ID的不同信息。我已经读入一个小的蒙版数据集(数据),仅使用少数几个...

回答 1 投票 0

Excel VBA如何比较两个具有质量缺陷/错误的大型数据集中的值?

我在实习中活跃于分析化学领域,希望比较大型数据集(两列,最多15,000行)。其主要思想是,我有两列包含大量数据(...

回答 1 投票 0

X轴对于大型数据集不可见

我是python的新手,我试图在X轴上的日期和时间处绘制数据。数据是有关几天内数小时内的推文数量的信息。由于数据巨大,因此X ...

回答 1 投票 0

使用BLS数据集寻求更高效率的熊猫代码

正在寻找一种更有效的方法来为Kmeans分析准备数据。使用BLS(劳动统计局)并尝试学习Kmeans,我正在对数据进行第一次传递,并希望添加两个...

回答 1 投票 0

如何读取真正大的JSON文件,并使用node.js将文件的数据插入到MySQL数据库中?

我有一个很大的JSON文件(22GB)。我想读取该文件,然后使用node.js将文件的数据输入到MySql数据库中。我怎样才能做到这一点?这是我的数据库查询:var query = connection.query(“ ...

回答 2 投票 0


如何读取真正大的JSON文件,并使用node.js将文件的数据输入到MYSQL数据库中?

我有一个很大的JSON文件(22GB)。我想读取该文件,然后使用node.js将文件的数据输入到MySql数据库中。我怎样才能做到这一点?这是我的数据库查询:var query = connection.query(“ ...

回答 2 投票 0

排序和提取大数据时出现问题(yajra数据表)

我在同时应用列排序时从yajra数据表服务器端提取大数据时遇到问题。对于列排序,我在查询构建器中使用了get()。如果我避免使用并使用...

回答 1 投票 2

为(900个以上)节点创建边缘列表(在R中)

我在创建406351条边的边列表(在902个唯一节点中可能是两个节点的组合)时遇到问题。节点对应于医生,边缘对应于患者的数量...

回答 1 投票 1

为什么PDO :: PARAM_LOB导致允许的内存大小用尽错误?

我在这里几乎找不到关于幕后情况的信息。我正在使用Yii 1.1框架,但我认为这与此问题无关。基本上,我在用这个...

回答 1 投票 1

解析大型(10GB +)JSON文件的最佳方法

我想知道什么是最好的工具,IDE,用于解析存储为json文件的数据的编程语言。我尝试在python中使用pandas,在R中使用ff,它们都因内存问题而崩溃或...

回答 1 投票 0

有没有更简单的方法来合并DataFrame多个块中的describe()结果?

我正在处理大型csv文件。由于内存限制,由于无法将整个csv文件同时导入一个数据帧中,因此我正在使用块来处理数据。 df = pd.read_csv(...

回答 1 投票 0

如何使用phpMyAdmin将表从SERVER 1上的数据库复制到SERVER 2上的另一个数据库?

[我在服务器X上有一个名为db_x的数据库(正在运行WHM),在服务器Y上有另一个名为db_y的数据库。我通过SSH连接到服务器X,对phpmyadmin配置进行了一些更改以允许它...]] >> < [

回答 1 投票 0

具有大量(70,000项以上)数据集的高效jQuery实时搜索

我正在为WordPress网站上的页面创建新表单,并希望在此表单的输入之一上使用jQuery添加实时搜索功能,该功能会根据用户拥有的内容列出可能的选项。 。

回答 1 投票 1

Unity AddComponent非常低效而缓慢

我有一个将近120,000个恒星的数据集和一个215个恒星的测试数据集(取自主要数据集),并且我正在编写一个程序来读取数据集并在3D地球模型周围绘制恒星。 ...

回答 4 投票 0

自动在postgresSQL表中插入大量记录

我需要在PostgresSQL中随机填充我的表,例如200k CREATE TABLE qr_code.tbl_transaction(transaction_id varchar NOT NULL,importo numeric NOT NULL,...

回答 1 投票 0

CSR矩阵中行和列的重新排序

例如,我有一个稀疏csr格式的矩阵:from scipy.sparse import csr_matrix import numpy as np row = np.array([0,0,1,2,2,2])col = np.array( [0,2,2,0,1,2])数据= np.array([1,2,...

回答 1 投票 1

求解大型(n> 1000000)线性方程组

我在以下问题上已达到极限:作为我的FEA代码的一部分(在MATLAB中),我需要找到x,x = A \ b。 A和b分别是稀疏,复杂,双精度矩阵和向量。 ...

回答 1 投票 2

© www.soinside.com 2019 - 2024. All rights reserved.