Apache Airflow调度程序监视所有任务和所有DAG，并触发已满足其依赖关系的任务实例，Apache Airflow是一个以编程方式编写，计划和监视工作流的平台。
我需要运行以下dag - dag = DAG（'dummy_for_testing'，default_args = default_args，schedule_interval = None）t1 = BashOperator（task_id ='print_date'，bash_command ='date'，dag = dag）...
我们希望使用Apache Airflow来主要安排Scrapy Python Spiders和其他一些脚本。我们将拥有成千上万的蜘蛛，它们的日程安排可能每天都有所不同，所以我们想...
我有一个DAG执行连接到Postgres DB的函数，删除表中的内容，然后插入一个新的数据集。我在我的本地尝试这个，当我尝试运行时，我看到...
需要在Airflow中的DockerOperator中访问计划时间
需要访问airflow的docker操作员的计划时间。例如，t1 = DockerOperator（task_id =“task”，dag = dag，image =“test-runner：1.0”，docker_url =“xxx.xxx.xxx.xxx：2376”，environment = {“FROM”：“{。 ..
我是Airflow的新手。我正在尝试使用Celery Executor设置分布式气流模式参考文章https://stlong0521.github.io/20161023%20-%20Airflow.html进入之前......
我试图通过命令'airflow scheduler'运行任务，当它产生这个错误时，我试图运行其中一个dags。 Traceback（最近一次调用最后一次）：文件“/ usr / local / bin / airflow”，...
我正在运行一个小时进程，从一个位置（“原点”）获取数据并将其移动到另一个位置（“目标”）。在大多数情况下，数据在特定时间到达我的原点，一切......
在Airflow管理站点当我更新http_default连接时，http传感器给出以下错误：错误 - 无法创建Fernet对象：不正确的填充回溯（最近的调用...
在EC2上的24x大型机器上运行时，我遇到了气流问题。我必须注意到并行度级别是256.有些日子，dagrun完成状态'失败'两个...
许多具有schedule_interval = None的气流示例dag设置动态开始日期，如airflow.utils.dates.days_ago（2）或datetime.utcnow（）。但是，文档建议不要动态......
Apache Airflow - DAG中有多少任务太多了？
我尝试了一个有400个任务的DAG（比如每个运行调用远程spark服务器将一个单独的数据文件处理成s3 ...与mysql无关）和airflow（v1.10.3）执行以下操作...
我是Airflow的新手。我有一些麻烦删除Airflow v1.10.3，我在Ubuntu 16.04上使用pip3版本8.1.1。我已经尝试用sudo删除pip apt-get删除python3-pip和sudo ...
嗨我是Airflow的新手，我试图导入我自己的自定义jar作为DAG，它是用Talend Open Studio BigData生成的，当我通过终端导入我的DAG时遇到一些麻烦，没有错误......
如何在airflow / composer中使用CLI清除dag run的状态？
我以为我可以使用命令：g beta composer environment run --location = us-central1 clear - -s 2018-05-13 -e 2018-05-14清除dag的状态在2018年运行-...
您好我是Airflow的新用户我已经启动了Airflow网络服务器，我想在其上运行我自己的批次，默认情况下有Airflow DAG。我试图从GUI删除它然后我跟着...
我的DAG如下所示：task1 >> task2 >> task3和task2失败。我想从最后一个失败点（即task2）重新启动dagrun，我知道我可以使用“清除”。 ...
嗨，我想使用气流配置单元操作符执行配置单元查询，并将结果输出到文件。我不想在这里使用INSERT OVERWRITE。 hive_ex = HiveOperator（task_id ='hive-ex'，hql ='/ sql / ...
我正在评估Airflow 1.9.0以满足我们的分布式编排需求（使用CeleryExecutor和RabbitMQ），我看到了一些奇怪的东西。我做了一个有三个阶段的匕首：开始扇出......
是否可以安排气流DAG在每个月的15号之前的星期一的特定时间运行？我认为这个cron字符串可能会这样做，但我不确定我是否已理解......
假设我有两个DAG，其中dag2使用TriggerDagRunOperator执行dag1作为其流程的一部分，如下所示：dag1：task1> task2> task3 dag2：task4> dag1> task5现在让我们说dag2已安排...