如何使用 TensorFlow 在 python 中训练具有大型 txt 文件的神经网络模型？

Question

我是机器学习和神经网络的新手。我构建了一个具有 65 个输入神经元和 4880 个输出神经元的模型。我的训练数据存储在两个大型文本文件中：“X_train.txt”包含每行代表 65 个数字的列表的行，“Y_train.txt”包含每行代表一个索引号的行。我需要对“Y_train”执行 one-hot 编码，以创建一个在指定索引处包含 4880 个零和一个“1”的列表。

由于这些文件的大小，我想批量训练我的模型。如何使用 TensorFlow 在 Python 中使用这些 txt 文件有效地训练我的模型？

所以我尝试获取这些文件并尝试将这些文件转换为变量

with open(xPath, 'r') as file:
    line = file.readline()
    while line:
        x_train.append(eval(line.strip()))  
        line = file.readline()
x_train = np.array(x_train)

但是由于文件太大，需要太多时间，这不是我可以等待的主要问题，但主要问题是它使用了太多内存...

Answer 1

尝试使用此函数来解析每一行。 然后将其映射到张量流数据集中。

def parse_x(line):
    # Convert the line to a list of floats
    values = tf.strings.to_number(tf.strings.split(line, ' '), tf.float32)
    return values

def parse_y(line):
    index = tf.strings.to_number(line, tf.int32)
    one_hot = tf.one_hot(index, num_outputs)
    return one_hot