问题描述
我正在尝试使用Pyspark对大量数据进行全球排名。
我在线搜索,发现在窗口中使用了许多答案:
window_rank = Window.orderBy(F.asc('score'))
scores_df = scores_df.withColumn('rank',F.row_number().over(window_rank))
但是,此方法似乎将所有数据混洗到一个工作节点中,因此,对于大量数据而言,它不是最佳选择。
在Pyspark中有一种分布式的方法来执行排名任务吗?
解决方法
暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!
如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@)