问题描述
归功于此 post，我有 pyspark 数据框，我想根据时间戳列绘制其中一列。问题是感兴趣的列包含缺失值 (None)，我不想绘制缺失值。
我的数据框的摘录如下，可以通过此 answer 轻松创建：
# +---------------------+-------+
# | timestamp | col1 |
# +---------------------+-------+
# | 2021-05-10 19:48:36 | 714 |
# | 2021-05-10 15:34:26 | None |
# | 2021-05-10 14:08:31 | 634 |
# | 2021-05-10 20:29:46 | 8453 |
# | 2021-05-10 19:48:36 | None |
# | 2021-05-10 00:20:25 | 3825 |
# +---------------------+-------+
除了使用插值或插补的列包含缺失值建议here和here之外，我还想在可视化中保持间隙并且不触及数据的性质，如下例所示：
我尝试使用以下技巧使用 toPandas() 将数据从 pyspark 转换为 Pandas，然后应用 pythonic 脚本来绘制部署 seaborn 或 matplotlib 提供的 here特别是 sns.pointplot() 和 sns.lineplot()。
#read the data
sdf = spark.read.parquet(INPUT_PATH)
#Pandas
pdf = sdf.toPandas()
这个技巧的问题是我没有使用 pyspark 和它的workers 能力，并且为了可视化大数据（大约 800 万条记录）需要很长时间才能捕捉到情节和监视可用 timestamp 窗口上的异常值以推理异常值检测方法输出。
对于更新此问题的解决方案的任何帮助将不胜感激！
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）