简化数据+人工智能,一行一次打印稿
今天,砖而闻名的后端工程、建造和运营云系统跨数以百万计的虚拟机处理每天艾字节的数据。不那么明显的是专注于打造用户体验,使数据更容易获得和使用。
我们认为是时候强调通过一系列的帖子的人,工作,和影响他们对我们的客户和生态系统。在这第一篇文章中,我们会介绍创始人的故事在这一领域的一些技术和产品挑战我们的经验。在未来,我们将讨论新的可视化和微前端等工作。
让我们开始吧。
砖的创始论文:没有伟大的UI / UX不能简化数据
自从我们开始在加州大学伯克利分校做大规模计算的研究,我们的目标是让更多的人能够使用它。当时最先进的一个工程师团队需要在Java或c++工作数周处理tb的数据。我们的工作在Apache火花使每个人都运行分布式计算只有几行Python或SQL。
但这是不够的。从早期,我们发现许多令人兴奋的火花的早期应用程序互动——例如,其中一个最令人兴奋的是一群神经科学家实时可视化斑马鱼大脑活动来理解大脑是如何工作的。看到这些应用程序,我们意识到一个伟大的计算引擎只能让我们到目前为止:进一步扩大对大数据的访问也需要新的、高质量的用户界面对训练有素的开发商和消费者更多的公民数据。
作为我们的第一个产品,我们建造了世界首先对数据科学协作和互动的笔记本设计前端,可以显示和大量数据的可视化,后台自动切片和重新计算数据作为用户操纵他们的可视化,以及一个完整的协同编辑系统,允许用户同时处理相同的笔记本和可视化流媒体数据的更新。
我们的资金向Andreessen Horowitz演示包含任何更改火花——它只是表明一个交互式、云计算接口基于可以在几秒钟内使tb的数据可用。球客户是相同的,他们爱它!
每个人,甚至是“商人”,不得不学习JavaScript
后端系统的创始团队有很强的谱系(我们系统/数据库博士),但我们不知道如何吸引前端工程师。所以我们必须自己动手;创始人都有份“JavaScript:权威指南”和“JavaScript:好的部分,”从头到尾阅读在暑假开始之前。(我们很快乐“好地方”只有176页。)
在我们7合伙人,Arsalan”是我们业务的人。”他收到了他的博士学位计算机网络从伯克利几年前,和已经在麦肯锡工作伙伴。我们认为谈判伙伴关系和达成交易不会满100%的bob体育外网下载时间,所以我们问他起床速度JavaScript在公司开始之前。
想象一下:一些ceo和cfo见面后,这西装的麦肯锡顾问董事会第一课,不用他Briggs & Riley随身行李,然后拿出他的复制JavaScript:良好的部分。
整个团队在:我们的CEO写原来的可视化在D3,马泰写了最初的文件浏览器,Arsalan实现笔记本中的评论功能,用户仍然热爱今天。
创始团队虽然没有回避捡JavaScript和建筑最初的产品,在过去的几年中我们已经显著扩大团队带来更多的前端和UX专家。他们教会了我们很多,完全现代化我们的前端堆栈(比如笑话,反应,下一个。js,打印稿,纱)。
挑战在UI / UX数据和人工智能
我们还发现,许多用户体验和工程挑战最前端应用程序不运行。这些挑战包括:
- 有效地显示大量的数据。我们的用户想要探索和可视化大规模数据集,他们的屏幕上显示尽可能多的记录。这意味着我们的桌子和情节控制所有必须尽可能快速和健壮的大,可能是不规则的数据集。我们还测试了他们很大程度上让他们健壮,在早期,我们发现很多客户很容易崩溃的工作负载的web浏览器,与2000年从表中列的行和一个100 MB的文本字段。我们现在的前端和后端处理这些情况。即使在今天,我们不断推动的边界可能在浏览器作为客户的工作负载都变得越来越苛刻。
- 为长时间运行的并行任务设计的UI。有时用户要求的东西需要一段时间来计算(如运行在pb的数据),那么,我们如何确保他们觉得系统快速响应?提供有意义的进展,甚至让他们看到近似结果查询之前完成。一个例子是我们的阴谋控制的能力快速渲染数据基于前端样本,然后推动大型查询所有数据的后端。
- 让用户快速创建共享生产应用程序。我们发现大多数的用户交互地分析然后想把它变成一个仪表板和发布到他们的团队,他们不想离开他们的数据分析产品。因此,我们构建发布工作流在笔记本,让用户将他们的结果合并到一个可用的,尽快发表报告。我们现在的仪表板达到全球成千上万的用户。例如,当COVID开始,我们的阿姆斯特丹团队发现了一个砖仪表板的跟踪情况下的电视新闻。
- 结合工程工作流。数据产品建立在砖越来越多的供电任务关键型应用程序。因此,尽管数据科学家和分析师迅速想探索他们的数据,他们也想遵循工程最佳实践介绍严谨,如管理代码在Git中或运行CI / CD。我们的很多工作集中在使非技术用户利用类似的工具或概念工程严格自己的工作流。
我们刚刚开始
砖对我们影响我们的客户。其中神经科学家正试图理解大脑是如何工作的,整个大陆能源工程师减少能源消费,医药研究人员加快发现下一个重要药物。
但是我们还没有解决所有的问题。解决我们的爆炸性增长创造了更多的挑战,我们感觉我们是刚刚开始。长久以来,我们的行业建立了基于代码背后的最先进的技术为数据接口。民主化的第一步数据和人工智能是创建图形用户界面显著简化关键用户旅行。
作为一个最近的例子,我们建立了一个新的数据浏览器用户界面以便于勘探的数据(零端变化)。我们发货后,我们收到客户的消息杰克:“数据浏览日夜更好。无论巫术发生这是天堂。”We know that we can do the same in many other parts of users’ workflows.
来构建数据和人工智能的未来与我们同在。你的工作可能被用来创建下一个抗癌药物,抓住下一个网络攻击,甚至解释晚报上的下一个大故事。