ADF 管道计划每小时失败，查找活动从 Databricks 目录中获取上次摄取日期

Question

我们安排了一个包含 Lookup 活动的 ADF（Azure 数据工厂）管道，该管道负责从 Databricks 目录（Hive 元存储）中获取上次摄取的日期。该管道计划每小时运行一次，但有时会失败并出现以下错误：

我们增加了超时和集群配置。查找活动配置

Answer 1

ErrorCode=FailedToReadFromAzureDatabricksDeltaLake,Failed to read from azure databricks delta lake.
Error message : Failed to send request to Azure Databricks Cluster

上述错误可能在数据负载较大时出现，也可能是网络错误或波动。要解决此错误，请执行以下一些步骤：

• 确保您的网络配置为从 databricks 访问数据。

• 确保 Azure Databricks 群集正在运行。如果集群终止或处于错误状态，请求将失败。

正如 @Ganesh Chandrasekaran 所说，如果是企业帐户，请向 Databricks Engineering 开立 Azure 支持票证。

更多信息可以参考这个。