aws emr添加步骤限制；我可以并行运行步骤吗？

Question

我有许多SQOOP作业，我想通过EMR添加步骤启动。我现有的内部部署方法是并行运行它们，直到用尽YARN资源为止。

我注意到，当我为单个SQOOP作业创建一堆添加步骤时，它们本质上是顺序的。问题：有没有办法让我并行运行添加步骤？ （限制：我无权访问主节点来直接启动应用程序。）

我确定我在这里错过了一些琐碎的事情；因为这听起来像是一个巨大的限制，所以在使用添加步骤的EMR中无法进行并行处理。

.. Manas

PS：我可以将它们作为多线程运行，但是我不会获得针对YARN启动的不同应用程序的日志。

Answer 1

使用EMR 5.28.0，最多可以同时运行256个步骤。EMR Add up to 256 steps

也可以添加超过256个步骤。Add more than 256 steps

fyi-在编写此响应时，似乎在使用Step函数时每秒添加10个步骤是有限制的。我的理解是，EMR本身没有任何限制，并且假设集群有足够的资源可以接受，那么它应该可以向它添加尽可能多的步骤。