使用pyspark在Spark数据帧上长时间到UTM覆盖

问题描述

我有一个纬度/经度字段的spark数据框。我有一个函数可以在python中进行UTM转换。我正在尝试在spark中注册该函数，然后在我的spark数据帧中使用它。可能pyspark中的python模块用法有一些模块不匹配错误，我无法弄清楚。请提出可能的解决方案，以使用pyspark在火花数据帧上将纬度/经度转换为UTM，反之亦然。由于我不熟悉Spark，因此我面临着将python代码转换为Spark的挑战。 这是python函数：

def latlon_toUTM(latIN,lonIN,retZone=True):
    tup = utm.from_latlon(latIN,lonIN)
    lat_cnvrt = tup[0]
    lon_cnvrt = tup[1]
    zone_number = tup[2]
    zone_letter = tup[3]
    
    if retZone:
        return tup
    else:
        return lat_cnvrt,lon_cnvrt   

sqlContext.udf.register("latlon_toUTM",latlon_toUTM)

然后我在SparkSQL查询中传递它

sqlContext.sql("""select *,latlon_toUTM(Latitude,Longitude) 
               from temp_table_v1 """).show(2)

我在此遇到TypeError。请建议我如何在火花中实现从纬度到长期的UTM转换。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）