在Spark错误上使用Spark ML -集群告诉我们什么?

下载幻灯片

如果你订阅了(电子邮件保护),或在大公司工作时,您可能会看到一些常见的Spark错误消息。在过去的几年里,即使参加Spark峰会,你也会看到类似“Spark中的K大错误”这样的演讲。虽然有很酷的基于非机器学习的工具来检查Spark的日志——它们不使用机器学习,因此不那么酷,但也受到了人类为它们编写规则所付出的努力的限制。本演讲将介绍在堆栈跟踪上训练“常规”聚类模型时会发生什么,并探索将用户消息分类到Spark列表的DL模型。来这里是为了确认机器人还不能自我修复,留下来学习如何在机器人朋友的帮助下更好地工作。这次演讲的tl;dr是Spark输出上的Spark ML,加上一点Tensorflow,对整个家庭来说都很有趣,但可能还不应该自动响应用户列表帖子。

会议标签:#SAISML10



«回来
霍尔顿Karau
关于Holden Karau

Holden是一名跨性别的加拿大开源开发者,专注于Apache Sbob下载地址park、气流、Kubeflow和相关的“大数据”工具。她是Learning Spark、High Performance Spark和Kubeflow for Machine Learning的合著者。她是Apache Spark的提交者和PMC。在试图改进搜索和推荐系统时,她被骗进了大数据的世界,很久以前就忘记了她最初的目标。

关于Griselda Cuevas

Gris Cuevas是谷歌Cloubob下载地址d的开源项目经理,也是一位有抱负的数据科学家。她最近毕业于加州大学伯克利分校运筹学和数据科学硕士学位。Gris在过去的7年里一直致力于开发在线社区,现在正在谷歌的在线论坛上合作设计一种预测作者质量的算法。Gris对自然语言处理、信息检索和开源技术感兴趣。bob下载地址她喜欢披头士乐队,杂耍,当然还有墨西哥菜。