跟踪多次运行的testng测试性能

Question

我正在寻求扩展我现有的CI，它使用testng作为测试框架。我有一套测试，其性能（每次测试所用的时间）我想跟踪每个测试的性能以及每个测试随时间的变化。例如，在套件运行5次之后，我可以看到我的测试是否表现更好或更差。

我知道testng默认输出包含time属性的xml报告。目前我还没有在testng的documentation中看到任何具体的问题。

目前，我认为唯一的方法是提取相关信息（方法/类名和时间）并将其编译成一个单独的文件，以便稍后报告。您知道的任何更好的内置解决方案？

<testsuite name="PerformanceTests" tests="1" failures="0" timestamp="26 Apr 2018 17:05:51 GMT" **time="356.232"** errors="0">
  <testcase name="testModifyFail" time="2.127" classname="PerformanceTests"/>
<testsuite/>

Answer 1

1. TestNG有可能在JUnit format中输出测试结果
2. 詹金斯有Performance Plugin，它可以构建性能统计和趋势图表，并将它们添加到构建仪表板。从理论上讲，如果某个指标超过可接受的阈值，您甚至可以将构建标记为不稳定或失败。

所以你可以配置性能插件来读取test-output/junitreports的结果，它应该为你做的伎俩。

查看How to Use the Jenkins Performance Plugin以了解有关向CI管道添加性能测试结果的概念的更多信息。