使用JvisualVM监控Spark JVM(包括Driver、Executor)

刘超 20天前 ⋅ 165 阅读   编辑

一、需求

  在“使用JvisualVM监控Spark Executor JVM(支持跳板机、直连两种方式)”这篇文章中,我们监控executor的cpu、内存情况等,那么监控driver的cpu、内存情况呢

二、方案

  1、执行spark-shell时,我们添加 --conf "spark.driver.extraJavaOptions=-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=0 -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Djava.util.logging.config.file=logging.properties"参数,如下

sdev@n-adx-hadoop-client-3:~/liujichao$ spark-shell --master yarn --jars ./adx_stat_2.11-0.2-SNAPSHOT.jar,...... --files /nfs2/tag/source/osp-bu-mobile_user_segmentation/device_info/all_devices.csv,./logging.properties --queue adx --conf "spark.executor.extraJavaOptions=-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=0 -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Djava.util.logging.config.file=logging.properties" --conf "spark.driver.extraJavaOptions=-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=0 -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Djava.util.logging.config.file=logging.properties" --driver-memory 8G
Sep 04, 2020 8:48:47 AM ConnectorBootstrap startRemoteConnectorServer
CONFIG: JMX Connector ready at: service:jmx:rmi:///jndi/rmi://n-adx-hadoop-client-3:48515/jmxrmi
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel).

  2、从上面日志中可知,jmx地址是service:jmx:rmi:///jndi/rmi://n-adx-hadoop-client-3:48515/jmxrmi,然后按照“使用JvisualVM监控Spark Executor JVM(支持跳板机、直连两种方式)”使用就行了


注意:本文归作者所有,未经作者允许,不得转载

全部评论: 0

    我有话说: