如何从 ML 库例如 PyTorch 或 Tensorflow访问 GPU 中的 Spark DataFrame 数据

问题描述

目前我正在研究 Apache Spark 3.0 与 Rapids GPU 加速的使用。在官方 spark-rapids 文档中,我遇到了 this page,其中指出:

在某些情况下,您可能希望访问 GPU 上的原始数据,最好不要复制它。一个用例是在执行特征提取后将数据导出到 ML 框架。

对我来说,这听起来好像可以将来自某些上游 Spark ETL 过程的 GPU 上已经可用的数据直接提供给 Tensorflow 或 PyTorch 等框架。如果是这种情况,我如何从这些框架中的任何一个中访问数据?如果我在这里误解了某些内容,引用的确切含义是什么?

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)