我是机器学习和神经网络的新手。我构建了一个具有 65 个输入神经元和 4880 个输出神经元的模型。我的训练数据存储在两个大型文本文件中:“X_train.txt”包含每行代表 65 个数字的列表的行,“Y_train.txt”包含每行代表一个索引号的行。我需要对“Y_train”执行 one-hot 编码,以创建一个在指定索引处包含 4880 个零和一个“1”的列表。
由于这些文件的大小,我想批量训练我的模型。如何使用 TensorFlow 在 Python 中使用这些 txt 文件有效地训练我的模型?
所以我尝试获取这些文件并尝试将这些文件转换为变量
with open(xPath, 'r') as file:
line = file.readline()
while line:
x_train.append(eval(line.strip()))
line = file.readline()
x_train = np.array(x_train)
但是由于文件太大,需要太多时间,这不是我可以等待的主要问题,但主要问题是它使用了太多内存...
尝试使用此函数来解析每一行。 然后将其映射到张量流数据集中。
def parse_x(line):
# Convert the line to a list of floats
values = tf.strings.to_number(tf.strings.split(line, ' '), tf.float32)
return values
def parse_y(line):
index = tf.strings.to_number(line, tf.int32)
one_hot = tf.one_hot(index, num_outputs)
return one_hot