问题描述
我正在尝试使用我自己的语料库从头开始对 BERT 进行预训练，但我来自 TFRC 的 TPU v3 卡在 reading from input file。
我之前用较小的数据集（约 100MB）完成了这些任务，但我不确定这是否是由于我的新输入数据集的大小（约 3GB）所致。
我的 TPU 在某些时候一直断开连接，没有任何进展。真的是因为只有3GB的输入数据吗？那么其他研究人员如何使用更大的数据集完成这些任务？
提前致谢！
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）