TensorFlow的`tf.data`模块使用`tf.data.Dataset`和`tf.data.Iterator`类为构建输入管道提供了一个功能API。
tf.keras.Model如何区分tf.data.Dataset和TFRecords中的特征和标签?
我正在尝试从CSV数据创建tfrecords文件,然后我想使用tf.data.TFRecordDataset()从它们创建数据集,然后将数据集提供给tf.keras.Model。 (实际上,我正在使用spark -...
Tensorflow数据集,papped_batch,为什么允许使用不同的output_shapes,还有更好的方法吗?
我正在尝试编写足以与他人共享的Tensorflow 2.0代码。我遇到了tf.data.Dataset问题。我已经解决了,但是我不喜欢我的解决方案。这是...
我有一组50个形状为(50,128,128,1)的图像,在TensorFlow中表示为张量。假设第25张和第30张图像只是零张图像,但我不知道全部是哪些图像...
作为tfds导入tensorflow_datasets作为tf def input_fn()导入张量流:dataset_builder = tfds.builder(“ oxford_flowers102”)dataset_builder.download_and_prepare()ds = ...
使用tf.data批处理来自多个TFRecord文件的顺序数据
让我们考虑将数据集分成多个TFRecord文件:1.tfrecord,2.tfrecord等。我想生成大小为t(例如3)的序列,该序列由相同的连续元素组成。
我因粗心的错误而丢失了数据集。我只剩下我的tflite文件。是否有任何解决方案可以将h5文件回退。我已经对此进行了不错的研究,但没有找到解决方案。
使用from_generator的Tensorflow数据管道生成数据的速度不够快
我正在使用tf.data.Dataset构建用于训练的管道,但我似乎无法获得速度。我在管道中使用from_generator(请参见下文),并且怀疑python全局锁定是......>
TensorFlow Python-有没有一种方法可以将tensorflow_datasets数据集插入ImageGenerator?
我已经尝试了很长时间在tensorflow.keras.preprocessing.image.ImageGenerator函数中使用数据增强,但是我看到的每个示例都在带有文件的目录中传递。我的...
tf.data group_by_window()而不先迭代完整的数据集
具有一个固定大小的example_ids和feature_frames数据集,如下所示(即,属于同一example_id的所有帧都是连续的):id | feature_frame ------------------ 0 | [0,1,...
Keras ImageDataGenerator用于多个输入和基于图像的目标输出
我有一个模型,该模型将两个图像作为输入,并生成一个图像作为目标输出。我所有的训练图像数据都在以下子文件夹中:input1 input2 target我可以使用...
我正在阅读“数据加载的TF性能指南”部分。对于预取,它说,tf.data API通过tf.data.Dataset.prefetch转换提供了一种软件流水线机制,...
我正在使用TensorFlow数据集的一部分cnn_dailymail数据集。我的目标是在对数据集应用一些文本预处理步骤后对它进行标记化。我访问并预处理...
如何将numpy数组保存/加载到TF2中的TFRecordDataset中?
我正在使用Tensorflow 2.0将numpy数组保存/加载到TFRecordDataset中。 2.0的文档似乎完全缺乏,而且api也不简单。我创建了一个最小的...
在下面的示例(Tensorflow 2.0)中,我们有一个包含三个元素的虚拟tensorflow数据集。我们在其上映射一个函数(replace_with_float),该函数以两个副本返回随机生成的值。当我们...
[我使用张量流数据集下载了Oxford-IIIT Pet数据集,它包含损坏的数据:损坏的JPEG数据:标记0xd9之前的240个无关字节损坏的JPEG数据:数据的提前结束...
无法获得tensorflow数据集被model.fit函数接受。尺寸问题
我正在尝试使用img = tf.image.decode_bmp(img,channels = 3)下面的代码行对位图进行解码,使用.map函数test_labeled_ds =来创建图像/标签对的tf.dataset。 ..
TensorFlow Dataset API中的IDE断点映射的py_function?
我正在使用Tensorflow Dataset API来准备要输入到我的网络中的数据。在此过程中,我有一些自定义Python函数,这些函数使用tf.py_function映射到数据集。我想要...
我正在研究人脸识别。我曾经使用TensorFlow retrain.py训练数据,我的问题是... 1. Tensorflow如何工作? 2.是否使用CNN? 3.如果我错了,请纠正我。4.为...
每次调用带有最终图形的session.run()时,Tensorflow泄漏内存
我正在尝试使用tf.data api将可变大小的图像数据(LxLx2)馈入模型,但是我注意到每次迭代都会泄漏内存。我希望内存使用将是...
为什么TensorFlow tf.data.Dataset.shuffle函数的reshuffle_each_iteration布尔参数默认为None,而不是True?
tf.Dataset.data.shuffle函数的文档指出以下内容:reshuffle_each_iteration :(可选。)一个布尔值,如果为true,则表示数据集应为...