用于 jupyter 笔记本的 TPU pod v2-32

编程问答 2022-05-28

问题描述

我使用以下代码在 v3-8 TPU（即单设备 TPU）中训练我的模型，它运行良好，但是，相同的代码在 TPU pod v2-32 上不起作用。据我所知，v2-32 是通过专用高速网络相互连接的 TPU 设备集群，那么如何调整代码以使其在 v2-32 上运行？

tpu = tf.distribute.cluster_resolver.TPUClusterResolver(tpu="tpu-name",zone="us-central1-a",project="myproject")
tf.config.experimental_connect_to_cluster(tpu)
tf.tpu.experimental.initialize_tpu_system(tpu)
strategy = tf.distribute.TPUStrategy(tpu)

....... code to load data and define model ......

with strategy.scope(): 
    myModel = createModel()
    ....
    ....

它在 v3-8 单 TPU 上完美运行，但在 TPU pod v2-32 上，它给出错误：invalidargument ...无法找到相关张量 remote_handle .....

如何将 v2-32 的策略配置为 jupyter notebook 中的 TPU 集群？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

keraskeraspythontpu