在Databricks上安装GeoMesa

问题描述

我正在尝试在Azure Databricks（Databricks版本6.6 / Scala 2.11）中安装GeoMesa-尝试遵循this tutorial

如上所述，我已使用Maven坐标org.locationtech.geomesa:geomesa-spark-jts_2.11:2.3.2在DataBricks中安装了GeoMesa。

但是，当我运行import org.locationtech.geomesa.spark.GeoMesaSparkKryoRegistrator时，它告诉我找不到它。

本教程中的所有其他导入都可以正常工作：

import org.locationtech.jts.geom._
import org.locationtech.geomesa.spark.jts._

我看了看Geomesa的github，看来这是正确的位置。

我对Java / Scala / Jars不太熟悉。

不知道我还有什么其他方法可以解决这个问题。

谢谢您的帮助！

解决方法

好问题！本教程似乎有一个小错误。 GeoMesaSparkKryoRegistrator用于管理Spark中SimpleFeatures的序列化。

本教程似乎并未使用SimpleFeatures（至少从2020年8月开始）。因此，这种导入可能是不必要的。您应该可以通过跳过该导入以及GeoMesaSparkKryoRegistrator的注册来进行升级。

导入的模块仅提供实现Spark中基本几何支持所需的空间类型和功能。为了利用Spark中的GeoMesa数据存储，可以导入特定于Ge​​oMesa数据库的Spark运行时jar。由于这些数据存储区使用的是GeoTools SimpleFeatures，因此这些jar将包含GeoMesaSparkKryoRegistrator，其使用方式将与该笔记本和geomesa.org中的内容类似。