萨索斯岛如何优化和扩展地理空间工作负载与马赛克砖吗

从地理空间数据客户洞察力

萨索斯岛是另一种数据情报公司,将从手机实时位置数据转化为可操作的业务性能的见解为客户,其中包括机构投资者和商业房地产公司。投资者,例如,可能想了解指标总人流量属性拥有的公司在他们的投资组合或作出新的数据驱动的投资决策。与全世界数以亿计的手机广播他们的位置,萨索斯岛给顾客一个竞争优势与强大的实时工具测量和预测经济活动。

挑战扩展地理空间的工作负载

可行的见解来自手机平数据(时间序列的点定义为一对经度和纬度),萨索斯岛创建、维护和管理一个庞大的收集验证geofences——虚拟边界或周边一个感兴趣的区域,对每个特定边界的元数据。在地理空间术语中,一个简单的geofence可以被定义为一个多边形,一系列的经度和纬度对定义多边形的顶点。下图(图1)是geofences可视化的例子,和股票代码的元数据为萨索斯岛的情报产品的发展是至关重要的。

生成的见解需要弄清楚这手机位置点属于geofence多边形和被称为点在多边形(PIP)加入。而扩展的挑战PIPjoins详细讨论以前的博文,我们将重申一些要点:

• 皮普的天真的方法直接比较每个问题n指出米多边形(导致一个笛卡儿积)。
• 个人比较点和多边形对函数的多边形的复杂性;更多的顶点v更贵的多边形,是确定是否包含任意点在多边形内。
• 把这些放在一起,复杂性O (n *米)* O (v),尺度非常差。这种复杂性意味着什么幼稚的方法可以非常昂贵点和多边形的数量,和多边形的复杂性增加。此外,可能会有多边形顶点的行数的方差数据(例如,图1)。因此O (v)乘数跨分区的数据可能有所不同,从而导致分布式处理系统瓶颈。

为了克服这个扩展的挑战,我们利用空间索引的系统重构PIP加入作为一个等价关系,这是比天真的方法计算便宜得多。地理空间索引系统,如H3和S2创建层级瓷砖或马赛克的每个瓷砖(或地球表面细胞)被分配一个惟一的索引ID进行逻辑分组的几何图形接近对方。点与单个细胞(单个索引ID),而一个多边形可能跨度超过一组的细胞(多个索引ID),要么是全部或部分中包含的多边形(图2)。细胞部分包含在一个多边形,多边形的一个本地表示派生通过细胞几何相交多边形几何产生所谓的“芯片”。

当比较单一索引ID对应于一个点,一组索引ID与多边形有三种可能的结果:

重要的是要注意,多边形的索引是一个昂贵的操作比索引点数据,这种方法是一次性的成本。随着geofence多边形通常不发展尽快收到新手机平点,一次性预处理成本是一个可行的妥协避免昂贵的笛卡尔的产品。

可伸缩性和性能数据砖,马赛克

萨索斯岛的团队正与成千上万的多边形和接收每天数十亿新点。虽然不是所有的问题利用他们的完整的数据集,穷人比例天真的比较方法是明显的内存不足问题,导致失败的管道在他们的仓库。解决这些问题,团队空间分区数据,产生稳定的管道。然而,问题仍然成倍增加的处理成本和时间。

解决的问题处理时间,团队被认为是一个框架,可以与他们的工作负载弹性伸缩,和Apache火花是一个自然的选择。通过利用多个实例,完成管道的时间管理。尽管稳定时间,总成本执行管道保持相对稳定和萨索斯岛团队正在寻找一个解决方案以更好的扩展,因为他们知道的大小和复杂性的数据源将继续增长。

与砖团队合作和利用马赛克,萨索斯岛的工程师们能够获得收益优化的PIP连接前一节中描述的方法而不必从头开始实现的方法。镶嵌一个易于安装地理空间框架提供了内置函数的一些更复杂的操作(如计算合适的分辨率为H3索引)优化脉冲所需的连接。萨索斯岛团队确定了两个大型管道适合基准测试。第一个管道PIP加入新的geofences每天收到手机萍的整个历史数据而第二管道加入新收到的手机平与人口普查数据块多边形数据分区和人口估计的目的。

(*美元值归一化)

的相当大的性能改进提供了萨索斯岛团队信心的方法的可伸缩性和马赛克现在生产管道不可分割的一部分。建设这些管道砖Lakehouse平台,不仅拯救了萨索斯岛云计算成本,但也解锁机会机载数据科学家团队开发新的bob体育客户端下载智能产品和也与更广泛的砖的合作伙伴生态系统集成。

开始

试穿马赛克砖在今天Lakehouse,加速你的地理空间分析联系我们了解更BOB低频彩多关于我们如何帮助客户提供类似的用例。

• 马赛克可以作为砖实验室存储库在这里。
• 详细的马赛克文档可用在这里。
• 您可以访问最新的代码示例在这里。

阅读更多关于我们H3索引的内置功能在这里。