问题描述
我正在尝试在EMR群集上%% spark，以使用预训练的keras模型对多个文件进行并行预测。我可以在主节点上加载模型并对其进行预测，但是当我尝试使用spark时，尝试使用或访问模型时会出现错误“名称'tf'未定义”。
到目前为止，我已经尝试了以下解决方案，它们都产生相同的错误：
- 我尝试在lambda包装器中传递模型。
- 我已经使用sc.broadcast广播了模型
- 我在所有节点上下载了model.h5，并为每个分区使用load_model。对于load_model，我使用了custom_objects = {'tf'：tf}解决方案，并且我还在加载模型的包装函数中将tensorflow作为tf导入。
所有解决方案均无效。有没有类似的经历？我正在将r5实例用于主节点，将m5实例用于节点。
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）