pytables 相关问题

用于处理极大分层数据集的Python库。

使用 pytables 或 pandas 删除表或节点后释放 hdf5 磁盘内存

我正在将 HDFStore 与 pandas / pytables 一起使用。 删除表或对象后,hdf5 文件大小不受影响。当添加额外的对象来存储时,似乎这个空间会被重用,...

回答 2 投票 0

覆盖 pandas 数据框后 HDF5 文件的大小会增加

我正在尝试覆盖 hdf5 文件中的 pandas 数据帧。每次执行此操作时,文件大小都会增大,而存储的帧内容相同。如果我使用 mode='w' 我会丢失所有其他记录。 这是……

回答 2 投票 0

缺少可选依赖项“表”。在 pandas 中 to_hdf

以下代码给我错误。 将 pandas 导入为 pd df = pd.DataFrame({'a': [1,2,3]}) df.to_hdf('temp.h5', key='df', mode='w') 这给了我错误。 缺少可选依赖项“表”...

回答 9 投票 0

我应该在 HDF Store 中创建一个带有索引的大框架还是许多组?

我每天有大约 150 万行的时间序列、一个 4 维索引和 2 列。到目前为止,我已将所有这些内容放入一个 DataFrame 中,并推入 HDFStore 中的单个组中。

回答 1 投票 0

在 M1 Mac 上安装 pytables 时出现问题

我正在尝试在 M1 Mac 上安装 pytables(使用自制软件安装 MacOS 12.6.1、python 3.11 和 hdf5 1.12.2)。按照 https://stackoverflow.com/a/74276925 中的建议,我执行了以下操作: 点

回答 2 投票 0

使用表而不是h5py访问hdf5文件数据块

我使用 h5py 和表格成功读取了从 MSC/Nastran 生成的 hdf5 文件。现在我正在尝试对 Simcenter/Nastran 生成的文件执行相同的操作,但我遇到了麻烦,因为...

回答 1 投票 0

将收集的 PyTables 库添加到 PyInstaller SPEC 文件

我正在使用 PyInstaller 构建包含 PyTables 的 python 脚本的可执行文件。 由于我已更新到最新版本,因此构建可执行文件失败。错误如下: 错误:运行时错误:...

回答 1 投票 0

使用 warnings.filterwarnings() 过滤 PyTables PerformanceWarning 失败

此网站上有许多答案,详细说明了如何忽略 python 中的特定警告(按类别或通过提供正则表达式来匹配警告消息)。 然而,这些都没有......

回答 1 投票 0

使用 python 3.11 安装 PyTables 在 macOS M1 上失败

$ python -m pip 安装表 停止于 错误:编译 Cython 文件 环境 (我位于使用 pyenv 创建的虚拟环境中。) atm 只安装了很少的软件包 套餐版本 --...

回答 2 投票 0

在 M1 Mac 上找不到 PyTables 的 HDF5 安装

在 M1 Mac、macOS Monterey 12.4、Python 3.10.3 上运行 pip 安装表 收集表 使用缓存表-3.7.0.tar.gz (8.2 MB) 安装构建依赖项...完成 获取需求...

回答 5 投票 0

如何确保大型HDF5中的唯一行

我正在努力在HDF5表中实现相对较大的时间序列数据集(不断增长的5,000,000)。我需要一种每天删除一次重复运行的方法。作为我的...

回答 1 投票 2

将两个NumPy数组合并为一个结构化数组以附加到PyTables表中

我有两个非结构化的NumPy数组a和b,分别具有形状(N,)和(N,256,2)以及dtype np.float。我希望将它们组合成形状(N,)和dtype [('...

回答 3 投票 0

HDF5到CSV转换期间出现多个错误

我有一个巨大的h5文件,需要将每个数据集提取到一个单独的csv文件中。模式类似于/ Genotypes / GroupN / SubGroupN /具有“ N”个组和“ N”个子组的调用。我已经创建了...

回答 2 投票 0

[试图打开h5py中的熊猫创建的hdf时缺少列

这是我的数据框的外观。第一列是单个int。第二列是512个整数的单个列表。 IndexID ID 1899317 [0,47715,1757,9,38994,230,12,241,12228 ... 22861131 ...

回答 1 投票 1

用于保存和处理大张量的高效HDF5 / PyTables布局

我正在尝试为我的用例(一个研究项目)找到最佳的数据布局。这不是我的专长,因此尽管我可以清楚地说出我想要的东西,以及我认为可行的东西,但我还是在努力引导...

回答 1 投票 4

H5py,将匹配的行从巨大的hdf5文件合并到较小的数据集

我有两个巨大的hdf5文件,每个文件都有一个ID索引,每个文件包含有关每个ID的不同信息。我已经读入一个小的蒙版数据集(数据),仅使用少数几个...

回答 1 投票 0

Pytables重复2.5千兆行

我目前有一个.h5文件,其中的表由三列组成:一个64字符的文本列,一个与文本源有关的UInt32列和一个UInt32列,它是...的xxhash。 >

回答 1 投票 0

ImportError:缺少可选的依赖项'表'。使用pip或conda安装表格

我是使用Python打包pandas的初学者。我想使用此命令读取h5文件。将熊猫作为pd导入pd.read_hdf('file.h5','data')但是,我收到此错误消息〜\ Anaconda3 \ ...

回答 1 投票 -1


将通过pandas / pytables编写的大型hdf5数据集转换为vaex

我有一个非常大的数据集,我通过追加将其大块写入hdf5,如下所示:使用pd.HDFStore(self.train_store_path)作为train_store:用于tqdm(filepaths)中的文件路径:具有open(filepath,'rb'...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.