如何创建并行化的张量对象？

问题描述

是否有通过 dask 将 numpy 数据转换为张量的标准工作流程？

1. 通过 dask Array (NumPy) 将原始数据读取到每个节点。
2. 执行聚合操作以确定 OHE 类。
3. 然后使用泛型函数将该数组转换为张量？
   • https://examples.dask.org/machine-learning/torch-prediction.html
4. 张量变换的输出作为 dask Delayed 对象或每个 dask Bag 元素 1 个样本保存在内存中？

嗯。也许第 3 步更多地是关于基于张量的库添加对迭代加载/读取 dask 数组的支持。或者它可能正在扩展 dask 以包含这些库的 Incremental Wrappers？

许多人将 dask 与 GPU 加速库（如 PyTorch 和 TensorFlow）一起使用，以管理多台机器上的工作负载。他们通常使用 dask 的自定义 API，特别是 Delayed 和 Futures。 https://docs.dask.org/en/latest/gpu.html

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）