tensorflow-serving 相关问题

TensorFlow Serving是一种灵活的高性能服务系统,适用于机器学习模型,专为生产环境而设计。 TensorFlow服务可以轻松部署新算法和实验,同时保持相同的服务器架构和API。 TensorFlow Serving提供与TensorFlow模型的开箱即用集成,但可以轻松扩展以提供其他类型的模型和数据。

我应该如何在TensorFlow SavedModel中存储元数据?

我们使用不同的配置训练我们的模型的许多变化,并且需要不同的输入预处理(其中预处理在TensorFlow之外完成)。我想出口......

回答 2 投票 2

支持对象检测API中的Tensorflow 2.0

我正在使用TF Object Detection API来训练我最终将使用tf-serving部署的模型。我打算采用这个网络的输出(在中间CNN层)并构建额外的......

回答 1 投票 2

如何在运行时在tf_serving中添加多个模型而不卸载以前的模型?

我正在尝试使用以下代码在tensorflow_model_server中添加新模型:from tensorflow_serving.apis import model_service_pb2_grpc from tensorflow_serving.apis import model_management_pb2 ...

回答 1 投票 0

在Flask中导入多个自定义tensor2tensor问题

在flask_restplus API中,我试图从两个在一台服务器上提供服务的tensor2tensor模型进行推断。这两个模型都是自定义的,所以我提供t2t_usr_dir给服务函数...

回答 1 投票 0

当构建tensorflow-r1.10或r1.11时,bazel.rc似乎没有效果

我正在构建tensorflow-serving r1.10;因为我的centos7默认python版本是2.7.13,我想用python3.6构建,所以我改变了tools / bazel.rc中的PYTHON_BIN_PATH。[...

回答 1 投票 0

TensorFlow通过docker提供多种型号

我无法通过TensorFlow在Windows 10计算机上通过docker运行2个或更多模型。我创建了一个models.config文件model_config_list:{config:{name:“ukpred2”,base_path:“/ ...

回答 1 投票 2

tensorflow_serving分类,预测和回归SignatureDefs之间的区别是什么

我试图在tensorflow服务中提供tensorflow对象检测api模型,而我对3种不同的SignatureDefs感到困惑。有什么区别,何时选择一个而不是另一个?

回答 2 投票 0

如何用cuda8.0安装TensorFlow-gpu?

我试图按照官方网站上的说明安装它,导致tensorflow时导致ImportError:ImportError:libcublas.so.9.0:无法打开共享对象文件:否...

回答 2 投票 20

如何配置Tensorflow服务以从HDFS服务模型?

我正在尝试使用Tensorflow服务项目从HDFS中提供Tensorflow模型。我正在运行tensorflow服务docker容器标签1.10.1 https://hub.docker.com/r/tensorflow/serving我可以......

回答 1 投票 11

TensorFlow:如何从SavedModel预测?

我已经导出了一个SavedModel,现在我将其重新加载并进行预测。它训练有以下特征和标签:F1:FLOAT32 F2:FLOAT32 F3:FLOAT32 L1:FLOAT32所以......

回答 4 投票 9

使用Tensorflow服务提供Keras构建的Tensorflow模型时,连接层出错

尝试在tensorflow服务中调用特定模型的预测时,我遇到了一个奇怪的错误:grpc.framework.interfaces.face.face.AbortionError:AbortionError(code = StatusCode.INVALID_ARGUMENT,...

回答 1 投票 0

TF服务中的外部数据库查找或TF图的一部分

我有一个张量流模型,我打算使用张量流为模型推理进行部署。只是想知道在服务收到请求后是否有办法添加一些自定义逻辑...

回答 1 投票 0

如何让Tensorflow服务模型从传入的输入而不是本地批处理文件中获取?

我目前正试图让seq2seq模型与TF Serving一起工作。我以为我没错,但似乎我错了。我最初通过本地文本文件输入训练模型,读入为...

回答 1 投票 1

在Cloud ML中部署时,Op类型未在Tensorflow 1.4.1中注册HashTableV2

当我们将模型部署到云ml时,我们得到Bad model Op类型未注册HashTableV2代码:def model_fn(features,labels,mode):if mode == tf.estimator.ModeKeys.TRAIN:tf.keras ....

回答 2 投票 0

Tensorflow:差异get_tensor_by_name vs get_operation_by_name?

这里的答案是,一个返回一个操作,而另一个返回一个张量。从名称和文档中可以看出这一点。但是,假设我执行以下操作:logits = tf ....

回答 1 投票 3

在请求时找不到Servable:在加载旧版本的模型时

我有一个模型,让我们说mymodel和两个不同的数据集:setA,setB。在训练(在我的本地机器中)setA和setB分开后,tensorflow服务创建了两个不同的目录:100,200 ......

回答 1 投票 1

在其他语言环境中使用TensorFlow的深度学习模型[关闭]

我对TensorFlow有很多经验,我即将开始一个项目,最终将在C#生产环境中使用TensorFlow训练模型。 ...

回答 1 投票 13

tensorflow服务:feature_configs数据格式的混淆

我已经跟随了tensorflow服务教程mnist_saved_model.py并尝试训练和导出text-cnn-classifier模型管道是*嵌入层 - > cnn - > maxpool - > cnn - > ...

回答 1 投票 2

运行import_pb_to_tensorboard.py时出现_DecodeError('意外的端组标记。')

我正在尝试在android / iOS设备上部署tensorflow模型的方法。所以我做了:1)使用tf.saved_model.builder.SavedModelBuilder来获取.pb文件中的模型2)使用tf.saved_model.loader ....

回答 1 投票 0

将使用tf.estimator训练和保存的模型转换为.pb

我有一个用tf.estimator训练的模型,它在训练后导出,如下所示serving_input_fn = tf.estimator.export.build_raw_serving_input_receiver_fn(feature_placeholders)分类器....

回答 1 投票 2

© www.soinside.com 2019 - 2024. All rights reserved.