如何使用Apachespark度量

学习用Apachespark测量数据

写由亚当巴夫拉卡

2022年5月16日

文章举例子说明使用Apachespark组件监听spark可配置度量系统.具体地讲,它显示如何设置新源并启动水槽

详细信息Spark组件可用度量采集,包括汇支持出框,可跟踪上文文档链路

删除

信息学

收集度量方法深入了解Spark作业如何表现,

关于使用第三方工具监控Databricksspark作业的信息见Monitor性能AWS系统|休眠)

测量系统如何运作即时计算时, 每位执行程序创建连接驱动器传递度量

第一步写类扩展源码特征:

scala类 mySource扩展源码{serverval源码Name:String=MySourcevalRegistry:MetricregistryvalFO:Tistragy=NationalRegistry.histragygygy

下一步是启动水槽例子中度量打印到控制台

scalavalspark:sparkSessions=sparkSessioner.
删除

信息学

向prometheus下沉度量图使用第三方库https://github.com/banzaicloud/spark-metrics.

最后一步是即时处理源并注册Sparkenv

scalaval源码:我的源码=新源码Sparkenv.get.

可查看完整可建示例https://github.com/newroyker/meter.



文章有帮助吗