我想将两个不同的URL重定向到相同的模型请求,因此不需要创建另一个base_path
或版本。如果我将配置文件写为波纹管,是否将模型缓存两次?
models.config:
model_config_list {
config {
name: 'name1',
base_path: '/models/model/',
model_platform: "tensorflow"
},
config {
name: 'name2',
base_path: '/models/model/',
model_platform: "tensorflow"
}
}
所以我运行this project来监视我的Docker容器,并开始为一个模型提供模型服务。然后,我添加了与问题中描述的相同的模型路径和版本,但是名称不同。用于服务的已分配内存接近两倍,而对于三种型号,则接近三倍。