气流：无法将数据推回管道

Question

我设置了一个工作流程，其中包含两个任务：

1. read_dataset_task

   ，我从数据集中读取数据，并将数据推送到管道中

2. primary_transform_task

   ，我在其中预处理数据，即干净的数据。它从管道中拉取数据，清理后将干净的数据推入管道。

在

primary_transform_task

中，我成功地将第一个任务推送到管道的数据拉取。但是，清理数据后，当我尝试将数据推回管道时，收到错误“信息 - 任务已退出，返回代码 -9”。

以下是日志：

我真的很感激您的帮助

我在每个子任务之后添加了日志，以查看我的代码是否有错误。然而，所有清理和保存到 csv 子任务都成功执行，只有

xcom_push

失败了。

Answer 1

返回代码 -9 主要与内存不足错误相关。例如，与执行任务“primary_transform_task”的工作内存相比，您的数据大小有多大？摆脱未使用的变量并优化内存，或者获取更大的工作节点来容纳大数据。另外，请记住，气流的最佳用途是编排。例如，大型数据集的数据处理需要在 Spark 集群上进行。