Apache配置在DBConnect火花

使用REST API调用和DBConnect Apache火花集群配置。

写的arvind.ravish

去年发表在:2022年5月9日

你可以随时查看火花配置(AWS|Azure|GCP)审查您的集群的集群在工作区中细节。

如果您使用的是DBConnect (AWS|Azure|GCP你可能想要快速回顾当前火花配置细节不切换工作区UI。

这个示例向您展示如何获得当前代码火花配置为你在DBConnect集群通过REST API调用。

% python导入json请求导入导入base64张开(“/ < path-to-dbconnect-config > / .databricks-connect”)作为readconfig:参看= json.load (readconfig) CLUSTER_ID配置(“CLUSTER_ID”)牌= =参看[“令牌”]API_URL配置(“主机”)标题= ={“内容类型”:“application / json”,“授权”:“持票人”+牌}载荷= {CLUSTER_ID:”+ CLUSTER_ID} =响应请求。(API_URL +”/ api / 2.0 /集群/ / ?cluster_id = " + cluster_id头=头,json =有效载荷)sparkconf = response.json config_key () (“spark_conf”),在sparkconf.items config_value():打印(config_key config_value)
删除

警告

DBConnect仅适用于砖运行时版本的支持。确保您使用的是运行时支持集群使用DBConnect之前。



这篇文章有用吗?