从Dask Task Stream访问完成时间

问题描述

我正在使用dask Futures来加快python中的蒙特卡洛处理速度,并希望通过向用户显示“剩余时间”功能来改善代码。我的想法是以某种方式从期货执行的先前完成的任务中抢占完成时间,以估计此时间的剩余价值。我在dask Scheduler GUI中看到了此计时信息,但是是否可以通过某种方式在python代码中进行抓取以便我可以利用它呢?任何对此的反馈将不胜感激。谢谢。

解决方法

如果您的进程本地有一个调度程序(如果在client.cluster.scheduler上使用LocalCluster,通常就是这种情况),则可能需要查看.total_occupancy属性。如果您想了解更多细节,请查看.task_groups