TensorFlow Serving是一种灵活的高性能服务系统，适用于机器学习模型，专为生产环境而设计。 TensorFlow服务可以轻松部署新算法和实验，同时保持相同的服务器架构和API。 TensorFlow Serving提供与TensorFlow模型的开箱即用集成，但可以轻松扩展以提供其他类型的模型和数据。
如何编译tensorflow服务（tensorflow/xla）以将llvm/mlir作为共享对象而不是静态包含在二进制文件中？
我正在尝试编译张量流服务项目，我想 将 llvm/mlir 编译为共享对象。 该项目是tensorflowserving->tensorflow->xla并编译为...
无法在Docker内使用sudo命令，显示“bash: sudo: command not find”
我已经使用以下命令安装了 TensorFlow docker run -it b.gcr.io/tensorflow/tensorflow:latest-devel 我需要在 Windows 机器上设置 TensorFlow Serving。我跟着
我想将我的 Google Cloud Platform 服务帐户 JSON 凭证文件传递到 Docker 容器，以便该容器可以访问云存储桶。到目前为止我试图传递文件...
上下文： 我有一个基于 tf.estimator.DNNClassifier 的简单分类器，它通过意图标签获取文本和输出概率。 我也能够将模型训练导出为可用的...
是否可以在单个GPU节点kubernetes上运行多个tensorflow服务容器
我正在具有 GPU 节点的 AKS 集群上运行 Tensorflow 模型。该模型当前在单个 TF Serving 容器 (https://hub.docker.com/r/tensorflow/serving) 中的单个 pod 中运行...
有没有另一种loss可以替代tensorflow中的seq2seq.sequence_loss
我正在运行 CVAE 来生成文本。我正在使用张量流> 2.0。 问题是，对于我的损失，我使用 seq2seq.sequence_loss。我尝试将张量流 v1 更新为 v2，因为代码是
使用C++加载SavedModel - SavedModel加载标签{serve}；状态：失败：未找到
我在文件夹（generator_model_final）中有一个 SavedModel，其中包含以下内容： - 保存的模型.pb - 变量 |- 变量.data-00000-of-00002 |- 变量.data-00001-of-00002 |- 变量...
TFLite 转换器未将 dummy_function 替换为 TFLite_Detection_PostProcess
我想实现一个 tf.Module 来解码框预测并应用可转换为 tflite 的 NonMaxSuppression。 此实现包括此处的元素。 它也遵循这个指南...
从 Flask docker 容器到 Tensorflow/Serving 容器的 HTTP POST 请求出错
我正在尝试使用 docker compose 在 AWS EC2 上部署我的微型项目。主要容器的镜像有Nginx、Flask、MySQL、Tensorflow/Serving。 我已成功建立...之间的连接
具有大量嵌入词汇量的 Tensorflow 模型的推理时间不切实际
我注意到一种现象，即 Tensorflow 模型中的嵌入词汇量与其推理时间之间存在线性关系。 我对此并不感到惊讶。然而...
gRPC 服务器响应操作系统错误，grpc_status：14
使用 Tensorflow 服务示例中的基本 gRPC 客户端从 docker 上运行的模型获取预测，我得到以下响应： 状态 = StatusCode.UNAVAILABLE 详细信息=“操作系统...
通过 Docker 提供的 TF 模型缺少模型信息，如果请求则返回 404
我有一个经过训练的模型，我正在尝试通过 Docker 容器中的张量流服务来部署图像分类器。当我运行 python 代码通过 REST 请求时，我收到 404 响应。请求我...
如何处理此错误：“无法获取签名的输入映射：serving_default” 当提供给
获取 Tensorflow Serving 中公开模型的信息
一旦我有一个为多个模型提供服务的 TF 服务器，是否有办法查询此类服务器以了解为哪些模型提供服务？ 那么是否有可能获得有关每个此类模型的信息，例如......
作为生产环境的服务解决方案，TensorFlow Serving 是否包含任何用于保护其 REST API 的选项？ 我可以按照这些说明运行 REST API 端点 https://g...
从 TF 服务 api 获取<Response [400]>
我训练了一个模型来使用 TF 和 TFX 对叶子进行分类。我是 TFServing 在本地环境中部署模型。虽然我能够部署模型，但是当我向
我正在尝试编写客户端代码来与 tensorflow 服务器通信。我需要用于 tensorflow 和 tensorflow_serving 的 golang 编译的 protobufs。这些来之不易，我设法做到了......
DOCKER：来自守护进程的错误响应：无效的 "绑定 "类型的挂载配置：绑定源路径不存在： tmpresnet。
我按照这篇median的文章，用tensorflow serving和docker来服务resnet。我完美地遵循了所有的说明，但是得到了这个错误。C:\\Program Files\Docker Toolbox\docker.exe: ...
如何用exporter.export_saved_model方法将resnet101的keras模型导出到tensorflow中。
我使用Keras和resnet 101进行训练，想把我的模型导出到TensorFlow中，使用exporter.export_inference_graph这个方法，但它给了我错误。FailedPreconditionError ...
我想在图模式下(在TensorFlow服务中)引发一个依赖于输入张量值的tf.errors.InvalidArgumentError异常。目前我使用tf.debugging.assert_all_finite，这 ...