用深度学习和游戏化对抗模型衰退

视频记录

-欢迎使用深度学习和游戏化来对抗模型衰退。我叫希南·奥兹德米尔。我是direct的数据科学总监。

SS机器学习模型会随着时间的推移而退化

你们很多人都知道，机器学习模型会随着时间退化。这是由多种原因造成的。其中之一就是不断变化的趋势和数据。保持机器学习的性能。需要持续的维护。

维护是昂贵的，耗时的，而且往往是被动的

不幸的是，维护是昂贵的，耗时的，而且往往是一个非常被动的过程。

通过利用社区专家来提高自动化率并帮助其他客户，直接、主动和持续地增强虚拟代理。我们通过提供人工智能平台和零工经济来实现这一点，这有助于我们bob体育客户端下载的公司改变客户服务。通过利用来自全球各地的高技能产品专家，帮助我们的客户并建立合作伙伴生态系统，帮助他们分析数据，编写自动化并与客户互动，提供个性化的答案。

在这次演讲中，我想谈谈我们机器学习管道的三个主要领域。我想谈谈我们是如何运行基于深度学习的聚类算法的，基于最近的客户查询。为了从趋势意图中获取新的自动化潜力。我想谈谈我们如何接受这些趋势意图，验证它们，并将训练任务发送到我们的游戏化意图发现和训练平台。bob体育客户端下载当我们发现这些新的意图并将其自动化时。我想谈谈我们如何更新分类算法，以便有效地将传入的查询路由到我们的自动化系统、我们的专家或我们客户的内部代理网络。

让我们从趋势聚类分析开始。

我们的Understand产品的核心是从我们的日常聚类分析开始的。正如我们在direct说的，这真的是我们最终用户的声音。

正如我们在这里看到的，我们的“理解”产品可以让我们的客户实时了解他们的用户在问什么，他们在谈论什么，以及direct是如何针对这些询问采取行动的。在右边，我们提供了来自聚类分析的顶级自动化见解，以向我们的客户展示我们正在积极追求的偏转和自动化机会。

为了跟上客户最新的集群和意图，我们开发了一个集群管道，利用了大量的Databricks技术。原始问题被调整并存储在Delta Lake中。这些问题使用深度学习进行编码，然后在高维空间中聚类。然后，这些集群地图将立即流式传输到我们的内部自动化操作团队。以及我们的客户仪表板，用于了解产品的透明度，我之前展示过。这个摄取、编码和集群的管道每天至少为每个客户运行一次，有时甚至更多。所以我们总能找到最紧迫、规模最大的集群，为自动化做好准备。

现在，让我们看看这到底是什么样子。让我们仔细看看从我们的管道中得到的原始聚类分析。看看趋势倾向的上升和下降有多快。我们关注的是3月初，3月1日到15日。为我们的一个大型全球旅游和酒店公司，它是我们的一个客户。他们刚刚发布了一份关于COVID-19退款政策的声明。我们的集群管道在左边输出紧密排列的问题集群。周围的人都在询问具体的退款情况。我们可以看到，在一些集群中，人们正在询问他们在迪斯尼、以色列、加拿大的预订情况。能够隔离这些特定于位置的问题，并且具有这种粒度。 Allows us to author automations that are highly tailored to our end users needs. Now we still see clusters like the one on the right, corresponding to more longer standing intents. Like troubleshooting editing profiles, but these clusters at this time are much lighter in volume in comparison.

现在，让我们看看同一家公司。同样的数据来源，两周后。3月16日到31日。我们不再在左侧看到那么多特定地点的COVID退款问题。但实际上，这些问题已经被已经提交退款申请的人提出的问题所取代。现在他们正在询问退款的情况。这是一个潜在的自动化新来源，两周前还不存在。如果我们没有抓住它，我们就无法转移它。因此，自动化的意图和机会可以在几周甚至几天内迅速上升和下降。专注于长期目标是相对简单的。 Like profile editing, troubleshooting, but only truly proactive data pipelines like ours, are able to act on these intents that can vanish as suddenly as they arise. Now, of course, I was able to label these clusters for us fairly simply, for the purposes of this talk. But in production, clustering is only the first step in this process. We also have to be able to effectively utilize the raw output of these cluster analysis, in our pipeline to automate these intents.

SS 24/7意图发现和培训

能够持续地、自信地在我们的集群管道中检测这些趋势。我们还开发了一个意图发现和交易管道，能够产生结果来增强我们的人工智能模型。

它基于这样一个理论:在像我刚才向您展示的那些集群中，存在自动化的潜在意图，因此会为我们的客户偏转。

游戏化平台的意图发现和训练bob体育客户端下载

之前提取到Delta Lake并聚集的问题通过二级管道来突出潜在的集群和趋势意图。这些集群通过direct的专有自动化流程进行标记以供审查，并由内部自动化专家组成的专业团队作为新意图进行验证。这些自动化专家确认了来自聚类分析的新意图。一旦这些意图得到验证，进一步的数据标记任务，训练任务将通过我们的游戏化培训平台发送给我们的全球专家网络。bob体育客户端下载在右下角看到。我们的24小时训练的这些任务的结果，包括为我们的自然语言模型训练短语，以及为发送文本编写自动响应。如果您回想一下我们之前的示例，围绕特定位置的COVID退款的意图可以立即发送到我们的培训平台，在几天甚至几小时内编写自动化程序。bob体育客户端下载直接利用世界各地专家的集体知识，不断培训我们的自动化人工智能和自动化管道的能力，使我们在很大程度上与众不同。

让我们看看这是什么样子的。我们正在查看一个自动化分类器的匹配率百分比的图表，为我们的一个客户。

是什么样子的?

我们特别关注这款机型使用寿命前30天的性能。所以没那么久。在我们与该客户接触的前两周，我们部署了一个特定于行业的模型，该模型能够从客户所属的行业捕获意图。在签约之前，我们能够根据提供给我们的数据样本微调该模型。通过这种方式，我们能够捕获一些意图和自动化，这比行业模型更具体一些。这只是前两周的情况。在这两周的时间里，问题不断涌来。我们通过游戏化平台，将我们之前讨论过的任务，发送给我们的全球专家网络。bob体育客户端下载然后使用这些任务来验证和训练新的意图，以及我们的专业自动化专家团队。并根据公司的特定意图和自动化对我们的自然语言模型进行微调，这在行业特定模型中是找不到的。 And were not captured from our sample data. Two weeks after launch, where that orange arrow is. We turned on the updating of our natural language models, from the trainings from our expert network. We can see that within days, our intent match rate for this one classifier grew by 150%, and has since continued to climb steadily. This is showing how our distributed training pipeline, is able to train natural language and automation classifiers, without having to rely on reactive teams, in house reactive teams. And therefore can be more proactive about finding these new intents and automating them.

预测性路由基于深度学习的分类

现在我们的全球社区专家网络，一直在训练我们的人工智能模型。但这并不是他们所做的全部。他们还与我们的客户和用户互动，并回答我们的模型无法成功分类或包含的问题。

我们基于深度学习的分类系统，我们称之为预测路由。负责将问题发送到我们的网络，接收到的问题发送到我们的direct网络。并将最终用户送到最佳的客户旅程。无论是通过我们的自动化系统，我们的专家，还是回到我们客户的内部代理网络，如果它需要专门的访问。

这是另一个严重依赖Databricks的管道，我们使用它来实现这一目标。这些问题是由我们的专家尝试的，因此我们的自动化无法包含这些问题。归一化并输入到我们的预测路由分类模型训练管道中。结果通过MLflow进行跟踪。预测路由模型，与我们的聚类和意图模型非常相似，至少每天都会更新。他们总是从我们的专家那里学习回答问题的最新行为模式。这一切都意味着，这使得预测路由能够更准确、更有效、更快速地预测专家行为，并将问题路由到我们的专家网络中，这些问题具有高CSAT或NPS的最高解决机会。所有其他被预测路由拒绝的问题，要么被输入到我们的自动化管道中，要么被发送回客户端。如果我们的预测路由模型检测到，它需要比我们的专家或自动化能够提供的更高级别的帐户访问。

现在让我们从我们所提供的一个大型游戏公司案例中看看这是什么情况。

现在我们来看看这个大型游戏客户端的两个预测路由模型的性能。紫色的线表示预测路由模型的性能，它正在使用我刚刚概述的管道进行训练。每天接受训练，从最新的专家行为中学习，并试图以最高的解决机会有效地包装问题。橙色的线是完全相同的预测路由模型，但是关闭了连续训练。它只在第一天训练，然后就不再训练了。在最初的几天和几周内。我们看到两种模型的性能大致相同。它们是通过网络和最终用户提出的问题类型而上升和下降的。现在值得注意的是，紫色的线，它在不断学习，通常高于橙色的线，但没有那么多。在9月21日，我们的客户公司，经历了他们最受欢迎的全球在线游戏的中断。 Both models are inundated with several new intents all asking about the outage. When is the outage gonna be over? What is causing the outage? When is this gonna be fixed? Our community experts were there, handling the backlog of tickets that our automations were not able to handle. Because they had just never seen these intents before. And this is true for both models. The difference however, it is the purple line, the one being trained daily is learning from the experts work every single day. That model is quickly recovering in routing performance, while the orange line, who is still only learning from data from day one, decays much more rapidly, and takes a much larger hit to performance. And only recovers when the outage is over, and people just stop asking about it. The Purple Line recovers much quicker, because it is able to understand these new intents coming in, and understand which types of questions that our experts are able to handle, and resolve with a high CSAT or NPS. So this goes to show, that continuous training is not only for clustering, not only for intent classifiers. But it is also being used to optimize the expert network that is supporting all of our AI models. Continuous training of models is imperative to a modern effective machine learning pipeline. And it greatly improves the experiences of both our clients and our clients end users. In order for Directly to proactively capture automations, capture these new intents, and optimize our expert network, we must be able to surface potential intents from daily trending cluster analysis. We also have to validate these new potential new intents, with our specialized automation teams, and automatically send training tasks to our global network of experts. For further training and fine tuning of our automation models. These expert networks are able to keep the quality of the machine learning high, like we’ve seen in previous examples. And lastly, we must always be optimizing expert network, supporting our automation. And we have to do this 24 seven. Because as these new intents come in, as expert behavior changes, our predictive routing, our deep learning triage models, have to maximize resolution rates, maximize CSAT scores. All while understanding which questions are gonna be most likely to be flagged for automation, or sending back to our clients internal agent network. Now, all of this is possible through Databricks. And it is necessary to stay relevant in the markets growing demand for proactive intelligent automations.

谢谢大家。感谢你们坐在这里听我谈论用深度学习和游戏化来对抗模型衰退。我希望你们每一个人都能回过头来认真思考，你们正在构建的管道，以及它们是否准备好不断更新和优化，这样你们就能一直捕捉到所有最新的数据变化。