pyspark.resource.ExecutorResourceRequest¶
-
类
pyspark.resource。ExecutorResourceRequest( resourceName:str,量:int,discoveryScript:str=”,供应商:str=” ) ¶ -
一个执行人资源请求。这是ResourceProfile结合使用以编程方式指定一个抽样所需的资源将被应用在舞台上水平。
这是用于指定遗嘱执行人的资源需求是什么以及如何火花可以找到这些资源的特定详细信息。不是每个资源类型所需的所有参数。资源支持gpu和局限性一样使用全球火花款spark.executor.resource.gpu。*。discoveryScript,数量和供应商对资源的参数都是相同的参数通过配置:用户指定spark.executor.resource。{resourceName}。{discoveryScript数量,供应商}。
例如,一个用户想要分配一个执行人GPU资源纱线。用户指定资源名(gpu),或每个执行者的gpu数量,发现脚本将会被指定执行程序启动时它可以发现gpu地址可供使用,因为纱没有告诉火花,然后供应商不会因为其特定用于Kubernetes。
看到的配置和集群特定文档更多细节。
使用
pyspark.ExecutorResourceRequests类作为一个方便的API。- 参数
-
- resourceName str
-
资源的名称
- 量 str
-
量要求
- discoveryScript str,可选
-
可选的脚本用来发现资源。这是需要一些集群经理不要告诉引发资源分配的地址。脚本运行在执行人启动发现可用资源的地址。
- 供应商 str,可选
-
一些集群经理所需厂商
笔记
这个API是不断发展的。
属性
量discoveryScriptresourceName供应商