创建和管理Serverless实时推理端点

使用API

您可以使用启用服务API来创建一个服务端点模型。在接下来的例子中,ElasticNet的名称注册模型。

文章https:// < databricks-instance > . . / api / 2.0 /预览/ mlflow / endpoints-v2 /启用{“registered_model_name”:“ElasticNet”}

使用用户界面

你让一个模型为其服务注册页面模型砖的机器学习的UI。

1. 单击服务选项卡。如果模型是服务尚未启用,使Serverless实时推理按钮出现。

2. 点击使Serverless实时推理。服务选项卡出现了状态显示为等待。几分钟后,状态更改好了。

使用API

配置的状态更新可以跟踪config_update_status场的端点版本状态。

把/预览/ model-serving-api / endpoints-v2 / update-compute-config

在下面,填充desired_workload_config_spec与WorkloadConfigSpec属性。

{“registered_model_name”:“ElasticNet”,“舞台”:“登台|生产”,“desired_workload_config_spec”:{“WorkloadConfigSpec”}}

使用用户界面

启用一个端点模型之后,您可以设置所需的计算上的配置计算设置选项卡。你可以设置单独的配置登台和生产模型版本。

你可以选择从几个工作量大小,自动定量自动配置在工作负载的大小。如果你想端点缩减为零,你可以检查复选框标题为“规模为零”。

请求格式

请求应该被发送通过构造一个JSON与下面的一个键和一个JSON对象对应的输入格式。

有四个输入JSON格式取决于您的用例:

• dataframe_splitjson序列化熊猫Dataframe在吗分裂取向。

  {“dataframe_split”:{“指数”:(0,1),“列”:(“花萼长度(厘米)”,“花萼宽(cm)”,“花瓣长度(厘米)”,“花瓣宽度(cm)”),“数据”:[[5.1,3.5,1.4,0.2),(4.9,3.0,1.4,0.2]]}}

• dataframe_recordsjson序列化熊猫Dataframe在吗记录取向。

  请注意

  这种格式不能保证保存列排序,和分裂格式是首选的记录格式。

  {“dataframe_records”:({“花萼长度(厘米)”:5.1,“花萼宽(cm)”:3.5,“花瓣长度(厘米)”:1.4,“花瓣宽度(cm)”:0.2},{“花萼长度(厘米)”:4.9,“花萼宽(cm)”:3,“花瓣长度(厘米)”:1.4,“花瓣宽度(cm)”:0.2},{“花萼长度(厘米)”:4.7,“花萼宽(cm)”:3.2,“花瓣长度(厘米)”:1.3,“花瓣宽度(cm)”:0.2}]}

• 实例张量是一种tensors-based格式,接受行格式。使用此格式如果所有输入张量有相同的六月十维度。从概念上讲,每个实例列表中的张量可以与其他同名的张量列表的其余部分来构建完整的输入张量模型,这只会是可能的如果所有的张量有相同的六月十维度。

  {“实例”:(“一个”,“b”,“c”]}

  或

  在下面的例子中,有三个维度,具体每个输入三个张量。

  {“实例”:({“t1”:“一个”,“t2”:(1,2,3,4,5),“t3”:[[1,2),(3,4),(5,6]]},{“t1”:“b”,“t2”:(6,7,8,9,10),“t3”:[[7,8),(9,10),(11,12]]}]}

• 输入发送查询与张量柱状格式。这实际上要求是不同的,因为有一个不同数量的张量的实例t2(3)比t1和t3,所以它代表的输入是不可能的实例格式。

  {“输入”:{“t1”:(“一个”,“b”),“t2”:[[1,2,3,4,5),(6,7,8,9,10),(11,12,13,14,15]],“t3”:[[[1,2),(3,4),(5,6]],[[7,8),(9,10),(11,12]]]}}

响应格式

端点的响应是在以下格式。模型的输出是包裹在一个“预测”键。

{“预测”:“从模型> < JSON输出”}

使用用户界面

发送请求使用UI是最简单快捷的方法来测试模型。你可以插入模型以JSON格式输入数据并单击发送请求。如果模型记录了一个输入的例子(如图形所示上图),点击显示的例子加载输入示例。

使用API

你可以发送一个请求通过REST API使用得分标准砖的身份验证。下面的例子演示使用个人身份验证访问令牌。

给定一个MODEL_VERSION_URI就像https:// < databricks-instance > /模型/ iris-classifier /生产/调用,在那里< databricks-instance >是砖实例的名称和砖REST API的令牌DATABRICKS_API_TOKEN,下面是例子的片段如何评分模型。

curl - x POST - u令牌:DATABRICKS_API_TOKEN美元MODEL_VERSION_URI美元\- h“application / json内容类型:\- d{“dataframe_records”:({“sepal_length”: 5.1,“sepal_width”: 3.5,“petal_length”: 1.4,“petal_width”: 0.2}]}’

curl - x POST - u令牌:DATABRICKS_API_TOKEN美元MODEL_VERSION_URI美元\- h“application / json内容类型:\- d{“输入”:[[5.1,3.5,1.4,0.2]]}”

进口numpy作为np进口熊猫作为pd进口请求defcreate_tf_serving_json(数据):返回{“输入”:{的名字:数据(的名字]。tolist()为的名字在数据。键()}如果isinstance(数据,dict)其他的数据。tolist()}defscore_model(model_uri,databricks_token,数据):头={“授权”:f“不记名{databricks_token}”,“内容类型”:“application / json”,}data_json=json。转储({“dataframe_records”:数据。to_dict(东方=“记录”)})如果isinstance(数据,pd。DataFrame)其他的create_tf_serving_json(数据)响应=请求。请求(方法=“职位”,头=头,url=model_uri,json=data_json)如果响应。status_code! =200年:提高异常(f“请求失败状态{响应。status_code},{响应。文本}”)返回响应。json()#接受大熊猫DataFrames评分模型数据=pd。DataFrame([{“sepal_length”:5.1,“sepal_width”:3.5,“petal_length”:1.4,“petal_width”:0.2}))score_model(MODEL_VERSION_URI,DATABRICKS_API_TOKEN,数据)#得分一个接受张量的模型数据=np。asarray([[5.1,3.5,1.4,0.2]])score_model(MODEL_VERSION_URI,DATABRICKS_API_TOKEN,数据)

看到以下笔记本为例如何测试你的Serverless实时推理端点与Python模型:

保持在一个阶段多个版本

你也可以选择继续前面的登台版本的登台。一个模型的多个版本可以在同一个阶段。在这种情况下,两个版本都提供,但只能分期URL点最新的的版本。老版本仍然可以访问的URL。

如果你想尝试一个新版本在你举办端点,你可以做上面的一样,但集archive_existing_versions来假确保前面的临时版本不会存档。

POST / mlflow /砖/模型版本/过渡阶段{…“archive_existing_versions”:假的,…}

舞台上的地位

你也可以得到一个特定阶段的地位。要做到这一点,首先需要确定哪些目前服务端点版本阶段。获取这些信息,您可以使用ListVersionAliases。

/ / mlflow / endpoints-v2预览/ list-version-aliases

{“registered_model_name”:“ElasticNet”}

这将返回:

{“别名”:({“别名”:“暂存”,“endpoint_version_name”:“2”},{“别名”:“生产”,“endpoint_version_name”:“1”}]}

从那里,您可以使用上面的特定端点的状态版本。