hdf5 相关问题

分层数据格式(HDF5)是一种二进制文件格式,用于存储大量数字数据。

内存错误:无法为形状为 (725000, 277, 76) 和数据类型 float64 的数组分配 30.4 GiB

它给出了内存错误,但内存容量从未达到。我的 SSH 上有 60 GB 的内存,完整的数据集进程消耗 30 我正在尝试用 k-fold 训练自动编码器。没有 k-...

回答 2 投票 0

读取大型 HDF5 文件

我是使用 HDF5 文件的新手,我正在尝试读取形状为 (20670, 224, 224, 3) 的文件。每当我尝试将 hdf5 的结果存储到列表或其他数据结构中时,它都需要......

回答 3 投票 0

是否可以用python将磁盘上不连续的数据映射到数组?

我想将硬盘上的大fortran记录(12G)映射到numpy数组。 (映射而不是加载以节省内存。) Fortran 记录中存储的数据不是连续的,因为它被记录分割

回答 1 投票 0

连接 netcdf 和 hdf5 文件

我有两个数据文件,两种格式,一个是netcdf,另一个是hdf5。我希望将它们组合起来并将组合数据导出为 hdf5。我当前的解决方案包括将每个都转换为 python 字典...

回答 1 投票 0

如何在 hdf5 中设置合适的块大小

根据这个答案,适当的块大小对于优化 I/O 性能非常重要。 我是3000张jpg图片,大小从180kB到220kB不等。我将把它们保存为字节。 我知道 2 种方法...

回答 1 投票 0

我应该在 HDF Store 中创建一个带有索引的大框架还是许多组?

我每天有大约 150 万行的时间序列、一个 4 维索引和 2 列。到目前为止,我已将所有这些内容放入一个 DataFrame 中,并推入 HDFStore 中的单个组中。

回答 1 投票 0

使用Javascript从浏览器读取HDF5 version_hint.toFixed不是一个函数

所以我有一些来自Matlab的HDF5文件,格式为.mat(更改为.hdf5,没有任何区别) 在Python中使用h5py我可以毫无问题地提取我想要的数据,我运行一个Flask应用程序...

回答 2 投票 0

使用xarray转hdf5格式时数据丢失

我正在尝试创建一个 hdf5 文件来存储一些生成的数据。保存部分很好(我认为),但在检索时,一些数据输入似乎丢失了。我将提供...

回答 1 投票 0

CMake 成功找到 HDF5 的 HL 组件,但未列出它的库

在构建目录中运行 make 时出现以下错误 /usr/bin/ld:找不到-lhdf5_hl collect2:错误:ld 返回 1 退出状态 错误:命令“x86_64-linux-gnu-g++”失败...

回答 1 投票 0

如何使用没有数据类型名称的数字条目创建 numpy 记录数组

我正在尝试创建一个 numpy 记录数组来匹配我从 HDF5 文件读取的数据。 HDF5数据集(dataset)的dtype为np.dtype(('u1', (3,)))。数据集[0]的数据类型...

回答 1 投票 0

如何通过h5py读取v7.3 mat文件?

我有一个由matlab创建的结构体数组,并存储在v7.3格式的mat文件中: struArray = struct('名称', {'一', '二', '三'}, 'id', {1,2,3}, '数据', {[1:1...

回答 7 投票 0

HDF5简单数据集仅写入一半元素

我有一个更大的数据转换实用程序,这是其中的一小部分。它将旧格式转换为内存,然后将内存写入基于 HDF5 的输出格式。下面是一个函数,WriteFloatDataset...

回答 1 投票 0

无法使用h5py打开或创建hdf5文件

我正在尝试使用 hdf5 文件进行 ml,每当我创建或打开 hdf5 文件时,我都会收到此错误,顺便说一句,我在 Windows 上的 vscode 中使用 miniconda 环境。 导入h5py hdf5_filepa...

回答 1 投票 0

再次使用HDF5资源之前是否需要释放/关闭它

我正在用 C++ 编写一个 .h5 文件并使用一些 API 调用,如下所示。 HDF5 文档指出,应释放从这些函数返回的标识符以防止泄漏。 在我的代码中,...

回答 1 投票 0

hdf5 组在 C++ 中开放

我只是想从 hdf 数据库打开一个组。我将组名称保存在字符串变量中。但是 C++ 编译器给出以下错误。我想坚持用绳子,因为我正在做...

回答 1 投票 0

Java - .mat 文件的只读部分

我正在尝试读取 Java 应用程序中版本 v7.3 的 .mat 文件的某些部分。 特别是,我想仅加载 .mat 文件中存储的变量的某些部分。 Matlab 支持...

回答 2 投票 0

在java中流式读取HDF5

我想读取一些几GB的HDF5流。为了可移植性,我还想留在本机 java 中。 我已经尝试过 Java HDF 对象包和 Java HDF5 接口 (JHI5),但这些是一些 JNI

回答 1 投票 0

使用 HDF5 写入两个不同的文件

我有一个小型的 C 库,它在 Windows 下使用 HDF5 写入数据(v.1.8.14)。然后,C# 应用程序使用该库来执行其他一些操作,然后需要写入大量数据。 ...

回答 1 投票 0

JNI 性能

我们的主程序是用java编写的,但是从存储中提取数据的代码是用C编写的。我需要从提取的数据构建一个HDF5文件。用JNI调用C代码来g...

回答 3 投票 0

hdf5“无法打开对象(错误的对象头版本号)”错误处理

我正在从显然有问题的 h5 文件中读取数据。它由数百个周期组成(每个周期有 30 个成员),其中一个周期(#100)是空的(该组存在,但不包含 gr...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.