tensorflow-serving 相关问题

TensorFlow Serving是一种灵活的高性能服务系统，适用于机器学习模型，专为生产环境而设计。 TensorFlow服务可以轻松部署新算法和实验，同时保持相同的服务器架构和API。 TensorFlow Serving提供与TensorFlow模型的开箱即用集成，但可以轻松扩展以提供其他类型的模型和数据。

grpc请求和响应前面多出的5个字节是什么

我正在将tensorflow-serving用于深度学习模型服务器，这是grpc服务。为了跟踪服务器的请求和响应，在服务器和客户端中间有一个代理。 ...

tensorflow grpc tensorflow-serving

回答 1 投票 0

编译自定义gpu op的Tensorflow在编译时找不到依赖项

我放弃了为Tensorflow制作自定义gpu op的指南，并且可以共享lib。对于张量流服务，我调整了必需的路径，但是在构建时出现错误：错误：/ home / g360 / Documents / ...

tensorflow bazel tensorflow-serving

回答 1 投票 0

在TF服务示例中如何理解gRPC从客户端发出的并发请求？

根据服务TensorFlow模型的背景，mnist客户端中的程序是关于与加载mnist模型的tensorflow_model_server进行通信的客户端。客户端下载测试...

multithreading tensorflow grpc tensorflow-serving condition-variable

回答 1 投票 0

在轮询s3的配置文件时，Tensorflow服务模型服务器不断重新添加相同的模型

我正在使用Tensorflow Serving运行存储在s3存储桶中的模型。我还将模型配置文件保存在单独的s3存储桶中。我的用例是为了动态添加模型...

tensorflow-serving

回答 1 投票 1

无法使用tf.train.import_meta_graph导入元图，名称''表示图中未包含的操作

OS平台和发行版：Ubuntu 18.04 tf.VERSION = 1.13.1 tf.GIT_VERSION = b'v1.13.1-0-g6612da8951'...

tensorflow tensorflow-serving returnn

回答 1 投票 1

如何使用Docker和DigitalOcean Spaces部署TensorFlow服务

您如何配置TensorFlow Serving使用存储在DigitalOcean Spaces中的文件？解决方案很重要：提供对配置文件和模型文件的访问，提供非公共...

docker amazon-s3 docker-compose digital-ocean tensorflow-serving

回答 1 投票 0

是否有一个model.config文件用于张量流服务以在主机上返回所有模型

我遵循了tensorflow服务的说明，使用docker可以通过指定3个模型的版本来运行它们。但是作为主机的输出，我只能得到该模型的最新版本。是...

docker tensorflow-serving

回答 1 投票 0

使用张量流服务进行图像分割的示例

有没有人研究过如何将张量流服务用于图像分割任务的模板示例？感谢您是否可以共享代码或共享一些想法。

tensorflow image-segmentation tensorflow-serving

回答 1 投票 2

如何使用tensorflow抓斗器？

我正在尝试通过应用抓钩器来优化我的tensorflow模型的服务性能，我正在研究C ++ tensorflow-serving服务。 AFAIK，我应该在LoadSavedModel之后执行抓斗器工作。但是我'...

tensorflow optimization tensorflow-serving

回答 1 投票 0

我如何允许将文本输入到TensorFlow模型？

我正在使用TensorFlow中的自定义文本分类模型，现在想使用TensorFlow进行设置以用于生产部署。该模型基于文本嵌入进行预测...

python tensorflow tensorflow-serving

回答 1 投票 1

为什么可以使用多个值设置环境变量TF_CUDA_COMPUTE_CAPABILITIES？

环境变量TF_CUDA_COMPUTE_CAPABILITIES可以设置为：TF_CUDA_COMPUTE_CAPABILITIES = 3.0,3.5,5.2,7.0,7.5，为什么可以使用多个值设置？

tensorflow tensorflow-serving

回答 2 投票 0

TensorFlow服务REST API-JSON解析错误

我已经冻结并导出了SavedModel，根据Saved_model_cli，该视频将一批具有以下格式的视频作为输入：给定的SavedModel SignatureDef包含以下内容...

python rest tensorflow tensorflow-serving

回答 1 投票 0

Tensorflow服务错误“ {”错误”：“格式错误的请求：POST / v1 / models / cloths：predict

我正在尝试使用张量流服务预测图像类别。我已经使用了docker容器并在服务器中部署了模型。现在docker容器正在运行，当尝试将发布请求发送到...

python tensorflow post computer-vision tensorflow-serving

回答 1 投票 0

python中的RESTful API请求[tensorflow服务]

OS：Window 10 Tensorflow：V2，我在此视频中使用了Tensorflow与docker服务https://www.youtube.com/watch?v=uabNEQlpGM8 powershell中的代码：docker pull tensorflow / serving mkdir ...

python tensorflow python-requests tensorflow-serving

回答 1 投票 1

tf服务部署两个模型

我有两个不同的张量流模型A和B，模型A的输出将作为输入送入模型B。它们都需要通过tf服务进行部署。我需要打两次grpc或http ...

tensorflow tensorflow-serving

回答 1 投票 0

Tensorflow 2.0将用于nlp的预处理tonkezier保存到tensorflow服务器中

我已经训练了tensforflow 2.0 keras模型来进行一些自然语言处理。我要做的基本上是获取不同新闻的标题并预测它们属于哪个类别。在...

tensorflow machine-learning deep-learning tensorflow-serving

回答 1 投票 1

如何运行TensorArray操作？

我想通过tf.Session（）评估tf.TensorArray创建的TensorArray操作的输出：ta = tf.TensorArray（dtype = tf.float32，size = 2）：ta_output = tf.get_default_graph（）。 ..