inference 相关问题

推理是从已知或假设为真实的前提中得出逻辑结论的行为或过程。得出的结论也称为惯用语。在逻辑领域研究有效推理的定律。

扫雷 AI - 推断安全单元知识的某种边缘情况的问题

我正在学习 CS50 的 Python 人工智能入门课程,我非常喜欢它。当我运行我的脚本时,似乎一切正常,但 CS50 检查器发现某种边缘......

回答 1 投票 0

在 Sagemaker Inference 中找不到模型路径

我正在尝试执行与姿势相关的活动作为推理的一部分。我正在使用 Fastapi 通过以下方式在 Sagemaker 上执行推理 https://sii.ua/blog/en/deploying-custom-models-on-aws-sag...

回答 1 投票 0

SageMaker batchTransform MultiRecord 错误 - 无法将数据解析为 JSON。确保 Content-Type 标头设置为“application/json”

我正在尝试调用 sagemaker 批量转换 输入文件 example.jsonl {“number”:“0060540745”,“brand_name”:“XYZ”,“generic_keywords”:“123”...

回答 1 投票 0

ViT 模型的 HuggingFace Inference API 问题 - “图像特征提取”错误

我的 Vision Transformer (ViT) 模型 rshrott/vit-base-renovation2 的推理 API 遇到问题。 https://huggingface.co/rshrott/vit-base-renovation2 当我尝试使用 A...

回答 1 投票 0

在远程服务器中训练的 Yolov7 权重仅适用于那里

服务器中的权重仅在服务器中工作,当我下载权重并在本地电脑中运行它时,我注意到它根本没有检测到任何对象。 使用的命令 python train.py --epochs 10 --

回答 1 投票 0

Transformers:如何使用 CUDA 进行推理?

我已经用GPU微调了我的模型,但推理过程非常慢,我认为这是因为推理默认使用CPU。这是我的推理代码: txt =“这是个好地方”

回答 2 投票 0

如何对部署在 nvidia triton 上的 T5 张量模型进行推理?

我已经在nvidia triton服务器上部署了T5tensorrt模型,下面是config.pbtxt文件,但是在使用triton客户端推断模型时遇到问题。 根据 config.pbtxt 文件...

回答 1 投票 0

Fuseki config.ttl 文件,用于使用 TransitiveReasoner 和 TDB2 进行推理

使用包含以下内容的配置文件时,我可以在 Windows 10 下运行 Apache Jena Fuseki 4.6.1,没有任何问题: <#service1> rdf:类型 fusioni:服务 ; #. 。 。 fusioni:数据集...

回答 1 投票 0

我需要一个 fusionki config.ttl 文件来使用 TransitiveReasoner 和 TDB2 进行推理

使用包含以下内容的配置文件时,我可以在 Windows 10 下运行 Apache Jena Fuseki 4.6.1,没有任何问题: `<#service1> rdf:类型 fusioni:服务 ; 。 。 。 fusioni:数据集&...

回答 1 投票 0

Pytorch LayerNorm 的平均值和 std div 在推理时不固定

我正在努力在 torch.LayerNorm 之后重新创建输入。据我所知,LayerNorm 的平均值和标准差在推理阶段是固定的。因此,我想我可以提取...

回答 1 投票 0

模型对 Sagemaker 失败的推断

我已将张量流模型 model.tar.gz 上传到 Sagemaker,然后执行以下代码进行推理 导入boto3 导入 json 客户端 = boto3.client('sagemaker-runtime') 响应=客户。

回答 1 投票 0

如何在CPU上并行运行多个推理?

我在 PyTorch 中实现了一些模型,它们的性能在自定义平台上进行评估(围绕 Pytorch 进行包装,保持整体界面)。 然而这真的很慢:测试 10k

回答 1 投票 0

Jena Riot 推断无效的 RDF(以文字作为主语)

我正在将 Jena riot CLI 工具推断出的 RDF 馈送到 shacl cli 工具中。 我的架构定义包含如下内容: lob:帐号 rdfs:域 lob:帐户; rdfs:范围 xsd:str...

回答 1 投票 0

将脚本从 pytorch 转换为 onnx 时遇到问题

将 pytorch 脚本转换为 onnx 时遇到问题。我收到错误消息: onnxruntime.capi.onnxruntime_pybind11_state.InvalidArgument:[ONNXRuntimeError]:2:INVALID_ARGUMENT:意外的...

回答 1 投票 0

Yolov8 结果:AttributeError:“列表”对象没有属性“路径”- 未找到属性

我正在 Colab 中使用 Yolov8 对象检测模型。代码正确地运行图像子文件夹,并且模型在终端中输出正确的结果,但是我无法...

回答 1 投票 0

使用any

来自https://github.com/Microsoft/TypeScript/pull/3622: 超类型崩溃:如果 B 是 A 的超类型,则 A & B 等效于 A。 然而: 输入 a = 字符串 & 任意; // 解决任意问题,而不是

回答 1 投票 0

如何在.net应用程序中使用openvino?

我想知道是否可以在.net应用程序中使用openvino? 我已将 yolo 网络转换为 onnx 网络以与 ml.net 一起使用。接下来我想做的是实现开放...

回答 3 投票 0

在 AWS SageMaker 中的不同实例上运行预处理和推理

我试图弄清楚是否有一种方法可以在 Sagemaker 中的不同实例上运行预处理和推理。现在,我部署了一个在 GPU 实例上运行的图像模型,我的想法......

回答 2 投票 0

Typescript 在本地函数中类型推断失败

我陷入了失败的类型推断,但我不清楚为什么......这是代码: 类型A = { 种类:'A', aaa:字符串, } 类型 B = { 种类:'B', } 类型C= | A | ...

回答 1 投票 0

如何设置 sagemaker triton 推理的配置文件?

我一直在寻找示例并从aws遇到这个,https://github.com/aws/amazon-sagemaker-examples/blob/main/sagemaker-triton/ensemble/sentence-transformer-trt/examples/ensemble_hf /bert-trt/...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.