问题描述
目前我正在研究 Apache Spark 3.0 与 Rapids GPU 加速的使用。在官方 spark-rapids
文档中,我遇到了 this page,其中指出:
在某些情况下,您可能希望访问 GPU 上的原始数据,最好不要复制它。一个用例是在执行特征提取后将数据导出到 ML 框架。
对我来说,这听起来好像可以将来自某些上游 Spark ETL 过程的 GPU 上已经可用的数据直接提供给 Tensorflow 或 PyTorch 等框架。如果是这种情况,我如何从这些框架中的任何一个中访问数据?如果我在这里误解了某些内容,引用的确切含义是什么?
解决方法
暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!
如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@)