如果要分析网络节点对特定集群的流量,可以在集群上安装tcpdump并用它把网络包细节转储到cap文件中Pcap文件可下载到本地机分析

创建tcpdump init脚本

以笔记本运行集群样本脚本创建 init脚本

Pythondblips.fs.put
           
            tcp_dump.sh,'#!/bin/bashDB_CLUSTER_ID=$/dbfs/databricks/tcpdump/$mkdir-p/dbfs/tcpdups/${DB_CLUSTER_ID}fBASEDR=s/dgbricks/tcpdump/${DB_CLUSTER_ID}
           

记住进取脚本路径配置集群时需要它

配置 init脚本

跟踪文档配置集群范围 init脚本AWS系统|休眠|GCP)

指定 init脚本路径使用与样本脚本相同的路径dbfs://databricks/ /tcp_dump.sh )

配置 init脚本后重新启动集群

定位cap文件

集群启动后,它自动启动创建cap文件,内含所录网络信息

scap文件定位文件夹dbfs://databricks/tcpdump/${ } .

下载pcap文件

向本地主机下载pcap文件分析

有多种方式下载文件到本地机选项一databricksCLIAWS系统|休眠)