如何等待Spark服务停止?

问题描述 投票:3回答:3

对于我的Spark API,我正在构建集成测试。有时我想停止并启动Spark实例。当我这样做时,我有时遇到的问题是我正在创建一个新的Spark实例,而旧的实例仍在关闭一个单独的线程。了解Spark实例何时实际关闭会很有帮助。

首先,我像这样启动我的Spark实例:

Spark.init();
Spark.awaitInitialization();

然后我就这样停下来:

Spark.stop();

现在我打电话给stop()后,Spark Service实际上并没有停止!

是否有与awaitInitialization()类似的功能或其他方式知道Spark服务何时实际停止?

java spark-java
3个回答
1
投票

Spark 2.8.0引入了awaitShutdown()方法:https://github.com/perwendel/spark/pull/730

如果您遇到以下版本(例如使用Spark-kotlin使用Spark 2.6.0),您可以使用一些反射来识别Spark的当前状态:

    fun awaitShutdown() {
        Spark.stop()

        while (isSparkInitialized()) {
            Thread.sleep(100)
        }
    }

    /**
     * Access the internals of Spark to check if the "initialized" flag is already set to false.
     */
    private fun isSparkInitialized(): Boolean {
        val sparkClass = Spark::class.java
        val getInstanceMethod = sparkClass.getDeclaredMethod("getInstance")
        getInstanceMethod.isAccessible = true
        val service = getInstanceMethod.invoke(null) as Service

        val serviceClass = service::class.java
        val initializedField = serviceClass.getDeclaredField("initialized")
        initializedField.isAccessible = true
        val initialized = initializedField.getBoolean(service)

        return initialized
    }

(摘自https://github.com/debuglevel/sparkmicroserviceutils/blob/ec6b9692d808ecc448f1828f5487739101a2f62e/src/main/kotlin/de/debuglevel/microservices/utils/spark/SparkTestUtils.kt


1
投票

我在https://github.com/perwendel/spark/issues/731阅读了这个解决方案,并为我工作:

public static void stopServer() {
        try {
            Spark.stop();
            while (true) {
                try {
                    Spark.port();
                    Thread.sleep(500);
                } catch (final IllegalStateException ignored) {
                    break;
                }
            }
        } catch (final Exception ex) {
            // Ignore
        }
    }

0
投票

我使用spark-java来构建用于集成/功能测试的模拟服务。

我的测试拆掉代码:

public FakeServer shutdown() {
    service.stop();
    // Remove when https://github.com/perwendel/spark/issues/705 is fixed.
    try {
        Thread.sleep(100);
    } catch (InterruptedException e) {
        e.printStackTrace();
    }
    return this;
}

无缝地为我工作,每个测试设置FakeServer @Before并在测试完成后撕下它 - @After。

试一试。

© www.soinside.com 2019 - 2024. All rights reserved.