问题描述
我是dask的新手，正在考虑将其用于ml模型调整的并行化。 我是否应该尝试dask-yarn或dask-kubernetes满足这种要求？
关于在何处使用这些概念的任何一般性想法也将有助于更广泛的理解。
谢谢
解决方法
大多数人选择适当的部署解决方案以匹配他们已经拥有的基础架构。对于YARN / hadoop来说尤其如此-如果您知道自己需要，可能只会从头开始制作这样的集群。
调查表明，kubernetes是dask最常用的编排器（不计算本地，bare / ssh或HPC），并且，这似乎通常是当今最常见的集群方法。请注意，您可以使用dask-kubernetes本身，也可以使用dask-gateway（可以在多个后端生成）。
我不证明EKS是一种特别好的kubernetes实现。