tensorflow-serving 相关问题

TensorFlow Serving是一种灵活的高性能服务系统，适用于机器学习模型，专为生产环境而设计。 TensorFlow服务可以轻松部署新算法和实验，同时保持相同的服务器架构和API。 TensorFlow Serving提供与TensorFlow模型的开箱即用集成，但可以轻松扩展以提供其他类型的模型和数据。

通过C API访问tensorflow 2.0 SavedModel的输入和输出张量

我无法从tensorflow 2.0 SavedModel加载C_API来运行推理，因为我无法按名称访问输入和输出操作。我通过...

c tensorflow tensorflow-serving tensorflow2.0 c-api

回答 1 投票 2

TFX同时运行多台教练机

我是tfx 的新手，正在学习将管道整合在一起。我已经在GCP的Kubeflow中成功建立了一个管道。我想知道我该如何运行多台教练机，这些教练机会产生不同的输出/ ...

python tensorflow2.0 tensorflow-serving tfx kubeflow-pipelines

回答 1 投票 0

Popen之后的杀死进程及其所有子进程

因此，我有一个Flask端点A，端点B和另外两个脚本foo.py和bar.py。当我调用端点A时，我将使用Popen调用foo.py并存储其PID。在foo.py上，...

python flask tensorflow-serving

回答 1 投票 0

在tf_serving泊坞窗中，“ direct_session_runs”和“ graph_runs”有什么区别

我正在尝试使用张量流服务的docker日志在splunk中创建一些仪表板。对于每个不确定其区别或含义的事件，它都会返回两个指标，即“ direct_session_runs” ...

docker tensorflow tensorflow-serving

回答 1 投票 1

通用语句编码器中的Tensorflow会话错误

python tensorflow tensorflow2.0 tensorflow-serving sentence-similarity

回答 1 投票 0

sagemaker.tensorflow.serving预测失败，出现502错误

我使用以下代码部署了一个tensorflow saved_model：`model_path ='s3：//'+ sagemaker_session.default_bucket（）+'/model/model.tar.gz'from sagemaker.tensorflow.serving导入模型...

python tensorflow-serving amazon-sagemaker

回答 1 投票 1

使用BERT（TF 1.x）保存的模型进行推理

tensorflow tensorflow-serving tensorflow-estimator

回答 1 投票 1

接受base64图像作为TensorFlow模型的输入

我正在尝试导出我的TensorFlow图像分类模型，以使其接受base64字符串作为输入。我已经尝试实现此问题上提供的解决方案，但是我是...

python rest tensorflow-serving

回答 1 投票 0

TensorFlow模型服务器GPU构建-cudnn路径

我正在尝试从RedHat机器上的源代码构建TensorFlow模型服务器。我没有sudo特权，并且cudnn不在默认目录中。有没有一种方法可以指定cudnn路径...

tensorflow tensorflow-serving

回答 1 投票 0

TensorFlow服务无法通过预测

按照https://www.tensorflow.org/tutorials/images/hub_with_keras的指南进行操作，得到了一个SavedModel，我想将其用于TF服务。目前，我无法使用TF ...

tensorflow tensorflow-serving

回答 1 投票 0

如何使用tensorflow saved_model.load

这是加载模型所需要的

tensorflow tensorflow2.0 tensorflow-serving

回答 1 投票 0

在CPP中运行张量流模型

我使用tf.keras训练了模型。我将此模型转换为'.pb'，从tensorflow.keras导入os导入tensorflow作为tf从tensorflow.keras.models导入后端为K K.set_learning_phase（0）...

c++ tensorflow deep-learning tensorflow-serving tensorflow2.0

回答 1 投票 0

如何为TensorFlow服务REST请求准备一个TensorFlow Hub模型（带有base64编码的图像？

我遵循以下建议，在较老的keras ResNet50-ImageNet-Classifier上进行手术以从TensorFlow Serving获得预测方面取得了一些成功：如何准备好模型...

tensorflow tensorflow-serving tensorflow-hub

回答 1 投票 1

URL Tensorflow服务Python请求超出了最大重试次数

我已经训练了自己的模型，并使用以下代码运行了docker容器：docker run -t --rm -d -p 8501：8501 -v“％cd％/ serving / tensorflow_serving / servables / tensorflow / testdata / optik_gpu：/ models / ...

python docker tensorflow object-detection tensorflow-serving

回答 1 投票 0

从源构建Tensorflow服务时出错

我正在从适合我的CPU的源构建Tensorflow服务。我正在使用发布分支1.14和Bazel版本0.26.1。我使用以下命令来构建它：tools / run_in_docker.sh bazel ...

tensorflow tensorflow-serving

回答 1 投票 1

tensorflow对象检测api评估分割错误

无论评估何时开始，无论我使用object_detection / legacy / eval.py脚本还是object_detection / model_main.py，我都存在细分错误。我试图重新安装tensorflow，protobuf-compiler和...

python python-3.x tensorflow object-detection tensorflow-serving

回答 1 投票 1

调试在BERT模型上使用的TensorFlow

我能够按照此示例使用BERT嵌入来部署NLP模型（在CPU和tensorflow-model-server上使用TF 1.14.0）：https://mc.ai/how-to-ship-machine-learning-进入生产模型...