TensorFlow的`tf.data`模块使用`tf.data.Dataset`和`tf.data.Iterator`类为构建输入管道提供了一个功能API。
将`tf.data.dataset`中的数据分发给多个工作者(如Horovod)
使用Horovod,你基本上运行了N个独立的实例(所以这是一种图间复制的形式),它们通过特殊的Horovod ops(基本上是广播+减少)进行通信。现在我们说......。
TensorFlow Dataset的函数cache()和prefetch()是干什么的?
我是按照TensorFlow的图像分割教程来做的。在那里有以下几行: train_dataset = train.cache().shuffle(BUFFER_SIZE).batch(BATCH_SIZE).repeat() train_dataset = ....
翻看tf.data.datasets的文档,看到经常提到 "嵌套结构"。这到底是什么意思?任何Python数据类型都可以被认为是嵌套的......
`tf.function`装饰器导致批处理形状为`NoneType` (Tensorflow2, Python)
在下面的代码中。@tf.function def get_x_y(dataset,count=1): X = tf.TensorArray(tf.float32,count) Y = tf.TensorArray(tf.float32,count) idx = tf.Variable(0,dtype=tf.int32) for batch in ...。
Python成员操作符 "在 "TensorFlow数据集中。
我正在开发一个输入管道与TensorFlow数据集,数据集只有两列,我想过滤的基础上的值的列表,但我只是可以过滤数据集使用操作符等于"==",... ...
我试图开发一个 tf.data 对象来产生一个数组列表 但我得到一个数据不匹配的错误。下面是我的尝试 def labelGen(): yield tf.constant([1, 0], dtype=tf.int64), tf......。
如何只选择一个Tensorflow数据集的一部分,并改变维度。
我希望在UCF101的10个帧段上训练我的模型,没有任何标签。目前我有这样的方法: import tensorflow as tf import tensorflow_datasets as tfds x_train = tfds.load('ucf101', split='......)
如何只选择一个Tensorflow数据集的一部分,并改变维度。
我希望在UCF101的10个帧段上训练我的模型,没有任何标签。目前我有这样的方法: import tensorflow as tf import tensorflow_datasets as tfds x_train = tfds.load('ucf101', split='......)
tensorflow数据集:用unbatching(batch -> map -> unbatch)还是只用map进行矢量化更高效?
TensorFlow建议在用map进行变换之前对数据集进行批处理,以便将变换进行矢量化,减少开销:https:/www.tensorflow.orgguidedata_performance# ...
我有一个图像数据集,我通过tf.dataset.list_files()来检索。在我的.map()函数中,我读取和解码图像,如下所示。def map_function(filepath): image = tf.io...。
防止Tensosflow Dataset在多次调用model.predict时重置生成器。
我正在使用tensorflow Dataset from_generator方法在不同批次上使用CNN模型进行预测。但我想在每个批次预测后添加一些额外的逻辑。具体来说,我想...
使用TFrecords在TPU中使用图像分割,训练损失为Nan
我是初学者,尝试在Kaggle Kernels中使用Tensorflow与TPU一起工作。我以前使用GPU中的数据集训练了Unet模型,现在我试图在TPU中实现它。我做了一个tfrecord ...
您好我正在尝试在终端中安装tensorflow_datasets出现conda install -c anaconda tensorflow-datasets收集软件包元数据(current_repodata.json):完成解决环境:完成...
module'tensorflow_core._api.v2.data'没有属性'Iterator'
无法找出代替Iterator的方法,我尝试了tf.compat.v1.data.Iterator,但又遇到了另一个错误-AttributeError:'PrefetchDataset'对象没有属性'output_types'代码:...
带有TFRecords上的SavedModel的ObjectDetection推断
我正在尝试使用来自检测模型动物园的SavedModel进行推理。我可以使用“对象检测教程”得到一个可行的示例。但是,它运行得很慢,我怀疑...
如何从Google机器学习崩溃课程中替换make_one_shot_iterator()
我正在学习Google机器学习强化课程。但是它使用TensorFlow的1.x版本,因此我打算更改这些练习以使其能够在TensorFlow 2.0中运行。但是我被卡住了...
[您有这个问题来训练TensorFlow数据集中的猫和狗数据集,我需要将其转换为图像和标签。我需要构建一个从...
Tensorflow 2.0-tf.estimator.DNNClassifier对大型数据集的训练
[我正在尝试训练DNNClassifier标签= ['BENIGN','Syn','UDPLag','UDP','LDAP','MSSQL','NetBIOS','WebDDoS']#构建DNN分类器= tf.estimator.DNNClassifier(...
随机播放TFRecordDataset文件,但文件内部没有样本
我已生成数据并将其保存到多个tfrecord文件中,然后将其加载到TFRecordDataset中。如何按文件对数据集进行混洗?也就是说,我想保留样本的顺序...
我正在尝试从tensorflow数据集创建填充批处理,这使我出错。样本数据:A = [([[[101,9385,13302,102],[1,1,1,1],[0,0,0,0]]),([[101,9385,13302], [1,1,1],[0,0,0]],...