hdf5 相关问题

分层数据格式(HDF5)是一种二进制文件格式,用于存储大量数字数据。

像素级数学

我有包含高光谱数据的 hdf5 栅格文件。 我用 R 编程语言做了 <- paste0(wd,"img1.h5") View(h5ls(f,all=T)) output is of reflectance data is: /SITE-NAME/Refle...

回答 2 投票 0

h5py 将虚拟数据集读入 NumPy 数组时出错

我正在尝试从使用 h5py 创建的虚拟 HDF 数据集加载数据,但在正确加载数据时遇到一些问题。 这是我的问题的一个例子: 导入h5py 将工具导入为 ut 虚拟 = h...

回答 2 投票 0

从 HDF5 文件提取数据到 Pandas Dataframe

首先,感谢您提供的空间。 我来这里寻求帮助,因为我需要从一个文件夹中的多个 .HDF5 文件中提取数据,并将它们放入一个唯一的 Pandas datafr...

回答 1 投票 0

为什么 HDF5 数据集的并行读取在 100% CPU 时达到最大,但仅限于大型数据集?

我正在使用 Cython 使用 64 个线程从 HDF5 文件读取单个数据集。每个线程计算起始索引 start 和块大小 size,并从该块读取到公共缓冲区 buf,wh...

回答 1 投票 0

我想在Spring Boot中使用JHDF5创建h5文件

如果我创建并使用来自屏幕的 json 数据作为文件,Python 会将其读取为字符串,因此我尝试创建逻辑来创建 h5 文件,因为将数据转换为

回答 1 投票 0

macos中使用pip命令安装pyhdf出错

我尝试在 macos 终端中使用 pip 命令安装 pyhdf (https://pypi.org/project/pyhdf/) 包,但遇到以下错误: 收集pyhdf 使用缓存的 pyhdf-0.11.3.tar.gz ...

回答 1 投票 0

hdf5 中的并行读取

我的 C++/C 程序从 hdf5 文件中顺序读取数百个压缩复合数组,并将它们存储在一些向量中。我想提高它的时间性能。我希望我能读 3 或 4...

回答 1 投票 0

修复安装时的 HDF5 依赖错误

我正在尝试在 Windows 上使用 Julia 1.9.3 中的 HDF5 包。 我已将包添加为: ] 添加HDF5 它打印出: 0 秒内成功预编译 0 个依赖项。 21 已经预编译。 ...

回答 1 投票 0

无法从 Matlab v7 读取 R 中的 hdf5 文件

我正在尝试从 matlab v7 读取 .mat 文件。 我尝试了以下代码,期望 lapply 为 mydata 分配一个包含每个文件中的数据的列表。 > 库(rhdf5) > 基础 :: setwd('fil...

回答 1 投票 0

h5py:使用分块存储将大数据加载到HDF5

我有 3072 个大小为 1024x1024 的矩阵,所以我的数据集看起来像 1024x1024x3072。这些数据总计 24 GB,这使得无法加载到内存中,所以我希望使用 HDF5 的分块存储...

回答 2 投票 0

通过HDF5分块方法存储大数据

我有 3072 个大小为 1024x1024 的矩阵,所以我的数据集看起来像 1024x1024x3072。这些数据总计 24 GB,这使得无法加载到内存中,所以我希望使用 HDF5 的分块存储...

回答 1 投票 0

测试HDF5/c++中数据集是否存在并处理错误

我正在使用 C++ 中的 HDF5 库读取 *.hdf5 系列文件。这些文件具有相同的数据集(相同的键,但不同的信息),但有时文件中可能会丢失单个数据集(例如,在 100...

回答 2 投票 0

如何读取存储为一维数组的 hdf5 文件。并以图像形式查看它们?

我有一个以.hdf5格式存储的大型图像分类数据集。数据集的标签和图像存储在 .hdf5 文件中。我无法查看图像,因为它们以表单存储......

回答 1 投票 0

h5py:HDF5数据集名称与组名称冲突

注意:这是@hamo 的原始问题。 该问题已在这里更新/澄清为“答案”:https://stackoverflow.com/a/77574693/10462884。 相关答案在这里:https://

回答 3 投票 0

无法使用Python h5py创建或删除HDF5数据集

这段代码让我工作了几个小时却没有找到解决方案。 该程序在文件中找不到路径,因此它创建了一个新的数据集。然而,它会抛出以下 TypeError():

回答 1 投票 0

h5py:如何将多个 HDF5 数据集堆叠到单个 np.array

我有一个 50GB h5 文件,其中仅包含数据集,并且包含大约 7m x 256d numpy 数组 a 值。 我想生成它的一部分,因为整个文件无法加载到内存中,但我正在努力做...

回答 1 投票 0

h5py 如何在没有组的情况下获取切片(仅数据集)

我有一个 50GB h5 文件,其中仅包含数据集,并且包含大约 7m x 256d numpy 数组 a 值。 我想生成它的一部分,因为整个文件无法加载到内存中,但我正在努力做...

回答 1 投票 0

当我读取大文件时,Matlab 崩溃

我的matlab是R2022b。当我使用h5read读取4gb h5文件时,几秒钟后matlab崩溃了。这是怎么回事 用它? 我尝试扩大 java 堆内存,但没有成功。顺便说一句,可以

回答 1 投票 0

如何高效地保存一个大的pandas.Dataframe,有百万甚至十亿行且没有错误?

如何以良好的读取速度将大型 Dataframe 保存到磁盘? 我有一个很大的数据集(youtube 8M),现在我已经将原始数据提取到字典中。我想将其保存为数据框以供索引读取...

回答 2 投票 0

找不到 HDF5(缺少:HDF5_LIBRARIES CXX)(找到版本“1.10.7”)

我在基于 C++ 的软件中使用 HDF5,该软件是使用 CMake 构建的。 我曾经有两个 HDF5 版本,一个来自 Anaconda 附带的 h5py (1.14.x),另一个是使用 apt (1.10.x) 安装时附带的....

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.