用于使用 dags 之外的其他文件夹中的文件，在 apache Airflow 中的 dags/ 文件夹内

Question

我的文件夹结构为：

文件夹结构

我想在 dags 文件夹中的 dag 文件中使用 deps 文件夹中存在的文件，该怎么做？ 有人可以帮我解决这个问题吗

我尝试在 kafka_dag.py 和 parallel_tasks_dag.py 中添加这些代码行，以访问 deps 文件夹中的这些文件，

import sys
import os
sys.path.insert(0, os.path.abspath(os.path.join(os.path.dirname(__file__), '../deps')))

from deps.packages.util.utilities import get_data, process_data

我还在airflow.cfg文件中添加了这一行：

pythonpath = /home/user1/airflow/deps

Answer 1

由于您没有共享任何错误日志，我不确定这是否是确切的问题，但我认为您在访问 deps 下的功能时遇到问题。造成这种情况的一个潜在原因可能是 deps 文件夹没有作为 python 包添加，init.py 没有出现在您发布的屏幕截图中。您可以检查 deps 文件夹的结构。更多请查看