对于我的Spark API,我正在构建集成测试。有时我想停止并启动Spark实例。当我这样做时,我有时遇到的问题是我正在创建一个新的Spark实例,而旧的实例仍在关闭一个单独的线程。了解Spark实例何时实际关闭会很有帮助。
首先,我像这样启动我的Spark实例:
Spark.init();
Spark.awaitInitialization();
然后我就这样停下来:
Spark.stop();
现在我打电话给stop()
后,Spark Service实际上并没有停止!
是否有与awaitInitialization()
类似的功能或其他方式知道Spark服务何时实际停止?
Spark 2.8.0引入了awaitShutdown()方法:https://github.com/perwendel/spark/pull/730
如果您遇到以下版本(例如使用Spark-kotlin使用Spark 2.6.0),您可以使用一些反射来识别Spark的当前状态:
fun awaitShutdown() {
Spark.stop()
while (isSparkInitialized()) {
Thread.sleep(100)
}
}
/**
* Access the internals of Spark to check if the "initialized" flag is already set to false.
*/
private fun isSparkInitialized(): Boolean {
val sparkClass = Spark::class.java
val getInstanceMethod = sparkClass.getDeclaredMethod("getInstance")
getInstanceMethod.isAccessible = true
val service = getInstanceMethod.invoke(null) as Service
val serviceClass = service::class.java
val initializedField = serviceClass.getDeclaredField("initialized")
initializedField.isAccessible = true
val initialized = initializedField.getBoolean(service)
return initialized
}
我在https://github.com/perwendel/spark/issues/731阅读了这个解决方案,并为我工作:
public static void stopServer() {
try {
Spark.stop();
while (true) {
try {
Spark.port();
Thread.sleep(500);
} catch (final IllegalStateException ignored) {
break;
}
}
} catch (final Exception ex) {
// Ignore
}
}
我使用spark-java来构建用于集成/功能测试的模拟服务。
我的测试拆掉代码:
public FakeServer shutdown() {
service.stop();
// Remove when https://github.com/perwendel/spark/issues/705 is fixed.
try {
Thread.sleep(100);
} catch (InterruptedException e) {
e.printStackTrace();
}
return this;
}
无缝地为我工作,每个测试设置FakeServer @Before并在测试完成后撕下它 - @After。
试一试。