Azure Synapse 中的 Pytorch 导致问题

Question

我在 Azure Synapse 中有一个笔记本正在使用这些库

import pandas as pd
import numpy as np
from sqlalchemy import create_engine, text
import sqlalchemy as sa
from azure.core.credentials import AzureKeyCredential
from azure.ai.textanalytics import TextAnalyticsClient
from sentence_transformers import SentenceTransformer, util
import time
import torch

from notebookutils import mssparkutils

自本月以来，会话在带有上面导入的单元格之后停止，并出现下面的警告，我自己无法真正找到解决方案。

/home/trusted-service-user/cluster-env/env/lib/python3.10/site-packages/torchvision/io/image.py:13: UserWarning: Failed to load image Python extension: libc10_cuda.so: cannot open shared object file: No such file or directory
  warn(f"Failed to load image Python extension: {e}")
2024-11-19 11:31:17.000433: I tensorflow/core/platform/cpu_feature_guard.cc:193] This TensorFlow binary is optimized with oneAPI Deep Neural Network Library (oneDNN) to use the following CPU instructions in performance-critical operations:  SSE4.1 SSE4.2 AVX AVX2 AVX512F FMA
To enable them in other operations, rebuild TensorFlow with the appropriate compiler flags.

我尝试回滚到旧版本的 Torch，并强制使用 CPU，但没有成功。

输入只是带有导入的单元格。然后我收到警告。警告后，Spark 会话将停止并进行按摩。

会话失败。运行笔记本以开始新会话。

这款笔记本在 2-3 周前工作正常，但发生了一些我看不见的事情。我也相信即使有警告，一切都很好。

此外，我可以提供来自“监控”>“Apache Spark 应用程序”>“驱动程序（stderr）”>“最新”的日志，但我认为所有内容都与问题无关（也许）：

    WARN TokenLibrary [pool-43-thread-2]: Access token cache miss or expired
    2024-11-19 11:24:16,395 ERROR TokenLibrary [pool-43-thread-2]: Unable to determine host value from URI = tokenservice2.westeurope.azuresynapse.net:443. Using localhost as header value

WARN SQLConf [spark-listener-group-shared]: The SQL config 'spark.sql.legacy.replaceDatabricksSparkAvro.enabled' has been deprecated in Spark v3.2 and may be removed in the future. Use `.format("avro")` in `DataFrameWriter` or `DataFrameReader` instead.

2024-11-19 11:23:32,622 WARN AzureBlobFileSystemStore [Thread-32]: checkDnsEntry: blabla.dfs.core.windows.net not found in the file /etc/hosts.

Answer 1

我尝试安装库

如下：

%pip install pandas numpy azure-core sqlalchemy textanalytics torch==2.0.1 tensorflow==2.13.0 sentence-transformers==2.2.2

关于：

Itensorflow/core/platform/cpu_feature_guard.cc:193] 此 TensorFlow 二进制文件使用 oneAPI 深度神经网络库 (oneDNN) 进行了优化，以便在性能关键型操作中使用以下 CPU 指令： SSE4.1 SSE4.2 AVX AVX2 AVX512F FMA在其他操作中启用它们，使用适当的编译器标志重建 TensorFlow。

TensorFlow 专为高性能而设计，利用硬件功能高效运行计算。 它可以与 CPU、GPU 或 TPU 配合使用，使其代码适应可用的硬件。 某些 CPU 支持高级运算，例如矢量化加法（同时处理多个变量），而其他 CPU 可能不支持。 TensorFlow 会通知您安装的版本可以利用 AVX 和 AVX2 指令 - 高级矢量扩展，可加速前向或后向传播期间的矩阵乘法等任务。 这不是一个错误；而是一个错误。它只是告诉您 TensorFlow 将针对您的 CPU 功能进行优化以提高性能。

如果您愿意，可以使用以下方法禁用此消息：

import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '3'
import tensorflow as tf

结果：

print("Available devices:", tf.config.list_physical_devices())

Available devices: [PhysicalDevice(name='/physical_device:CPU:0', device_type='CPU')]