有没有办法使用Java流将十六进制字符串转换为字节？

Question

从长远来看，下面的代码片段总是会导致内存不足错误，尤其是在读取非常庞大的文件/内容时。

还有另一种方法可以重写它，特别是使用流吗？

我在这里看到了一种将字节数组转换为十六进制字符串的方法：使用 lambda 和流从字节数组获取十六进制字符串的有效方法

public static byte[] hexStringToBytes(String hexString) {
        if (LOGGER.isDebugEnabled()) {
            LOGGER.debug("Hex string to convert to byte[] " + hexString);
        }
        byte[] buf = new byte[hexString.length() / 2];
        String twoDigitHexToConvertToByte;
        for (int i = 0; i < buf.length; i++) {
            twoDigitHexToConvertToByte = extractPairFromStringBasedOnIndex(hexString, i);
            parseStringToBytesAndStoreInArrayOnIndex(twoDigitHexToConvertToByte, buf, i);
        }

        return buf;
    }

 private static void parseStringToBytesAndStoreInArrayOnIndex(String twoDigitHexToConvertToByte, byte[] buf, int i) {
        try {
            buf[i] = (byte) Integer.parseInt(twoDigitHexToConvertToByte, HEX_RADIX);
        } catch (NumberFormatException e) {
            if (LOGGER.isDebugEnabled()) {
                LOGGER.info("Tried to convert non hex string:", e);
            } else {
                LOGGER.info("Tried to convert non hex string:" + e.getMessage());
            }

            throw new HexStringToBytesException("Tried to convert non hex string"); // NOSONAR xlisjov don't want original cause since it caused exceptions.
        }
    }

private static String extractPairFromStringBasedOnIndex(String hexString, int pairNumber) {
        return hexString.substring(2 * pairNumber, 2 * pairNumber + 2);
    }

Answer 1

将十六进制字符串转换为字节数组的最简单方法是 JDK 17 的

HexFormat.parseHex(…)

。

byte[] bytes = HexFormat.of().parseHex("c0ffeec0de");
System.out.println(Arrays.toString(bytes));
System.out.println(HexFormat.of().formatHex(bytes));

[-64, -1, -18, -64, -34]
c0ffeec0de

这是最方便的方法，因为还可以处理格式化输入，例如

byte[] bytes = HexFormat.ofDelimiter(" ").withPrefix("0x")
    .parseHex("0xc0 0xff 0xee 0xc0 0xde");

请注意，如果您必须处理整个文件，甚至是直接处理的文件

String s = Files.readString(pathToYourFile);
byte[] bytes = HexFormat.of().parseHex(s);

只要您有足够的临时内存，就可以以合理的性能运行。如果满足前提条件（基于 ASCII 的字符集和十六进制字符串就是这种情况），

readString

方法将读入一个数组，该数组将成为结果字符串的后备缓冲区。换句话说，跳过了其他方法固有的缓冲区之间的隐式复制。

不过，检查前提条件需要花费一些时间，我们可以跳过：

String s = Files.readString(pathToYourFile, StandardCharsets.ISO_8859_1);
byte[] bytes = HexFormat.of().parseHex(s);

这强制执行自 JDK 9 以来紧凑字符串使用的相同编码。由于十六进制字符串仅包含 ASCII 字符，因此它将正确解释字符集基于 ASCII 的所有源。仅对于不正确的来源，异常消息中可能会出现错误字符的误解。

这是很难克服的，如果使用 JDK 17 是一种选择，那么尝试替代方案是不值得的。但如果您使用的是较旧的 JDK，您可能会解析类似的文件

byte[] bytes;
try(FileChannel fch = FileChannel.open(pathToYourFile, StandardOpenOption.READ)) {
    bytes = hexStringToBytes(fch.map(MapMode.READ_ONLY, 0, fch.size()));
}

public static byte[] hexStringToBytes(ByteBuffer hexBytes) {
    byte[] bytes = new byte[hexBytes.remaining() >> 1];
    for(int i = 0; i < bytes.length; i++)
        bytes[i] = (byte)((Character.digit(hexBytes.get(), 16) << 4)
                         | Character.digit(hexBytes.get(), 16));
    return bytes;
}

这也利用了十六进制字符串是基于 ASCII 的事实，因此除非您使用相当不常见的字符集/编码，否则我们可以通过简化字符集转换来处理文件数据。如果没有足够的物理内存来保存整个文件，这种方法也可以工作，但性能当然会降低。

要使用单个内存映射操作，文件也不得大于 2GiB。在多个内存映射步骤中执行操作是可能的，但您很快就会遇到结果的数组长度限制，因此如果这是一个问题，您无论如何都必须重新考虑整个方法。

所以这不适用于 UTF-16 和 EBCDIC，这是您在现实生活中可能必须处理的唯一两个反例，尽管这些情况也非常罕见。