Mathematica HDF5和复合阵列

Question

有没有人在Mathematica中有一个解决方法来读取HDF5复合阵列？我在表中有一个简单的2D复合类型（int / float），但它当前被忽略了。

HDF5类型的示例可能是：

DATATYPE H5T_COMPOUND {
    H5T_IEEE_F32LE "X";
    H5T_IEEE_F32LE "Y";
}

Answer 1

有一个包，显然由Scot Martin here创建。

据我所知，它实现了很多HDF5功能，包括复合类型。

以下是11 HDF5HighLevel Examples.nb的简要片段：

With[
 {
  file = FileNameJoin[{Directory[], subfolderWithExamples, "h5ex_t_cmpd.h5"}],
  dataSet = "DS1"
  },
 CompoundDataType`Information[file, dataSet]
 ]
(*
{"DataSpaceDimensions" -> {4}, 
 "MemberDataTypeClass" -> {0, -3, 1, 1},  
 "MemberMemorySize" -> {8, 8, 8, 8}, 
 "MemberName" -> {"Serial number"  , "Location", 
                  "Temperature (F)", "Pressure (inHg)"},  
 "MemberOffset" -> {0, 8, 20, 28}, 
 "MemberSize" -> {8, 8, 8, 8}, 
 "MemoryDataTypeSize" -> 32, 
 "NumberOfMembers" -> 4}
*)

HTH！

Answer 2

appears版本8仍然忽略了复合数据类型。但是，从第8节开始，另一种方法可能是创建一个可以加载复合数据类型的Import Converter。这可能意味着您将不得不重新实施HDF5导入器，但我还没有尝试过。我仍在使用7，但我很长一段时间都想要这种功能。

Answer 3

我创建了h5dumpImport，一个开源Mathematica包，它提供了一种独立于平台的方法来导入HDF5（.h5）文件的数据集，其中包含复合数据类型，同时隐藏了用户的大部分HDF5实现。包含文档，示例和单元测试的软件包位于here。

目前，h5dumpImport包不直接导入HDF5（.h5）文件格式。 h5dumpImport包导入由h5dump命令行工具生成的数据集的ASCII转储。

包含h5dump命令行工具的HDF5软件的源代码和预构建二进制发行版可以在The HDF Group的website中找到。

基本例子

Needs["h5dumpImport`"]
datasets = Import["testData.h5", {"Datasets"}];
dumpFile = h5dump["/usr/bin/h5dump", "testData.h5", datasets[[1]]];
dumpImport = h5dumpImportNew[h5dumpImport[], dumpFile];
dumpImport.h5dumpImportData[All]
dumpImport.h5dumpImportClose[];

---

结果：

{{1, 11, 111, 1111, 11111, 111111, 1111111, 1.1, 11.11, "one"},
 {2, 22, 222, 2222, 22222, 222222, 2222222, 2.2, 22.22, "two"},
 {3, 33, 333, 3333, 33333, 333333, 3333333, 3.3, 33.33, "three"}}

可以在here找到详细的安装说明，使用信息以及文档，示例和单元测试。

Answer 4

从版本11.1开始导入HDF5文件可以处理复合类型（甚至嵌套），并将它们转换为关联。

示例文件ExampleData/sample2.h5包含名为/Compound的数据集，其中包含2x2复合元素矩阵。您可以像这样导入数据：

In[3]:= Import["ExampleData/sample2.h5", "/Compound"]

Out[3]= {
  {
    <|
      "Country" -> "Botswana", 
      "Military" -> {5.3, 4.5}, 
      "Elevation" -> <|"Max" -> 4892, "Min" -> 513, "Highest point" -> "Otse Hill"|>
    |>,
    <|
      "Country" -> "Chile", 
      "Military" -> {8.8, 3.7}, 
      "Elevation" -> <|"Max" -> 6893, "Min" -> 0, "Highest point" -> "Ojos del Salado"|>
    |>
  }, {
    <|
      "Country" -> "France", 
      "Military" -> {5.3, 3.3}, 
      "Elevation" -> <|"Max" -> 4810, "Min" -> -10, "Highest point" -> "Mont Blanc"|>
    |>, 
    <|
      "Country" -> "Laos", 
      "Military" -> {18.9, 4.3}, 
      "Elevation" -> <|"Max" -> 2817, "Min" -> 70, "Highest point" -> "Phou Bia"
    |>
  |>
}}

要了解有关特定数据集的复合数据类型的更多信息，可以检查DataFormat元素：

In[2]:= Import["ExampleData/sample2.h5", {"DataFormat", "/Compound"}]

Out[2]= <|
  "Class" -> "Compound", 
  "Structure" -> <|
    "Country" -> "String", 
    "Military" -> <|"Class" -> "Array", "Dimensions" -> {2}, "DataFormat" -> "Real64"|>, 
    "Elevation" -> <|
      "Class" -> "Compound", 
      "Structure" -> <|"Max" -> "Integer16", "Min" -> "Integer16", "Highest point" -> "String"|>
    |>
  |>
|>