用于处理极大分层数据集的Python库。
使用 pytables 或 pandas 删除表或节点后释放 hdf5 磁盘内存
我正在将 HDFStore 与 pandas / pytables 一起使用。 删除表或对象后,hdf5 文件大小不受影响。当添加额外的对象来存储时,似乎这个空间会被重用,...
我正在尝试覆盖 hdf5 文件中的 pandas 数据帧。每次执行此操作时,文件大小都会增大,而存储的帧内容相同。如果我使用 mode='w' 我会丢失所有其他记录。 这是……
以下代码给我错误。 将 pandas 导入为 pd df = pd.DataFrame({'a': [1,2,3]}) df.to_hdf('temp.h5', key='df', mode='w') 这给了我错误。 缺少可选依赖项“表”...
我应该在 HDF Store 中创建一个带有索引的大框架还是许多组?
我每天有大约 150 万行的时间序列、一个 4 维索引和 2 列。到目前为止,我已将所有这些内容放入一个 DataFrame 中,并推入 HDFStore 中的单个组中。
我正在尝试在 M1 Mac 上安装 pytables(使用自制软件安装 MacOS 12.6.1、python 3.11 和 hdf5 1.12.2)。按照 https://stackoverflow.com/a/74276925 中的建议,我执行了以下操作: 点
我使用 h5py 和表格成功读取了从 MSC/Nastran 生成的 hdf5 文件。现在我正在尝试对 Simcenter/Nastran 生成的文件执行相同的操作,但我遇到了麻烦,因为...
将收集的 PyTables 库添加到 PyInstaller SPEC 文件
我正在使用 PyInstaller 构建包含 PyTables 的 python 脚本的可执行文件。 由于我已更新到最新版本,因此构建可执行文件失败。错误如下: 错误:运行时错误:...
使用 warnings.filterwarnings() 过滤 PyTables PerformanceWarning 失败
此网站上有许多答案,详细说明了如何忽略 python 中的特定警告(按类别或通过提供正则表达式来匹配警告消息)。 然而,这些都没有......
使用 python 3.11 安装 PyTables 在 macOS M1 上失败
$ python -m pip 安装表 停止于 错误:编译 Cython 文件 环境 (我位于使用 pyenv 创建的虚拟环境中。) atm 只安装了很少的软件包 套餐版本 --...
在 M1 Mac 上找不到 PyTables 的 HDF5 安装
在 M1 Mac、macOS Monterey 12.4、Python 3.10.3 上运行 pip 安装表 收集表 使用缓存表-3.7.0.tar.gz (8.2 MB) 安装构建依赖项...完成 获取需求...
我正在努力在HDF5表中实现相对较大的时间序列数据集(不断增长的5,000,000)。我需要一种每天删除一次重复运行的方法。作为我的...
将两个NumPy数组合并为一个结构化数组以附加到PyTables表中
我有两个非结构化的NumPy数组a和b,分别具有形状(N,)和(N,256,2)以及dtype np.float。我希望将它们组合成形状(N,)和dtype [('...
我有一个巨大的h5文件,需要将每个数据集提取到一个单独的csv文件中。模式类似于/ Genotypes / GroupN / SubGroupN /具有“ N”个组和“ N”个子组的调用。我已经创建了...
这是我的数据框的外观。第一列是单个int。第二列是512个整数的单个列表。 IndexID ID 1899317 [0,47715,1757,9,38994,230,12,241,12228 ... 22861131 ...
用于保存和处理大张量的高效HDF5 / PyTables布局
我正在尝试为我的用例(一个研究项目)找到最佳的数据布局。这不是我的专长,因此尽管我可以清楚地说出我想要的东西,以及我认为可行的东西,但我还是在努力引导...
我有两个巨大的hdf5文件,每个文件都有一个ID索引,每个文件包含有关每个ID的不同信息。我已经读入一个小的蒙版数据集(数据),仅使用少数几个...
我目前有一个.h5文件,其中的表由三列组成:一个64字符的文本列,一个与文本源有关的UInt32列和一个UInt32列,它是...的xxhash。 >
ImportError:缺少可选的依赖项'表'。使用pip或conda安装表格
我是使用Python打包pandas的初学者。我想使用此命令读取h5文件。将熊猫作为pd导入pd.read_hdf('file.h5','data')但是,我收到此错误消息〜\ Anaconda3 \ ...
将通过pandas / pytables编写的大型hdf5数据集转换为vaex
我有一个非常大的数据集,我通过追加将其大块写入hdf5,如下所示:使用pd.HDFStore(self.train_store_path)作为train_store:用于tqdm(filepaths)中的文件路径:具有open(filepath,'rb'...