如何报告/收集指标

Question

This定义了几个接收器，指标等。但他们被收集了吗？

1. 假设我将JxmSink添加到metric.properties文件中并启用所有实例度量标准（master，applications，worker，executor，driver，shuffleService，applicationMaster）。
2. 假设jmx端口已设置。

收集指标的位置：我应该连接到所有群集节点还是仅连接到驱动程序节点？

Answer 1

如果在度量标准属性文件中配置了相应的宿主机，则不需要从单个节点提取Spark度量标准，然后将针对每个配置的秒推送度量标准。我们的设置配置为使用GraphiteSink来收集指标，所需的配置与下面详述的相同（以及您提到的其他人）

1. 使用Graphite服务器端点准备度量配置属性文件

    *.sink.graphite.class=org.apache.spark.metrics.sink.GraphiteSink
    *.sink.graphite.host=<graphite-server-host>
    *.sink.graphite.port=<graphite-server-port>
    *.sink.graphite.period=10
    *.sink.graphite.prefix=dev

2. 确保将度量属性文件传递到spark-submit作业脚本中的--files选项，以便执行程序节点将其用于发送度量标准