问题描述
所以我创建了一个从 ftp 获取数据并将其推送到 GCS（谷歌云存储）的管道。 我主要使用 python 操作符来使用 PYSFTP 和谷歌存储 API 进行所有提升和转移。
当我在本地执行代码时，可能需要一段时间。通常每个文件大约 3/4 分钟。虽然这在以前从来都不是问题（因为我通常传输的文件要小得多），但气流似乎没有任何理由就会终止正在运行的任务。我正在转移的文件每个大约 150mb，并且是镶木地板的。再次，在本地运行，没问题。
我已经尝试升级气流实例以使用更强大的虚拟机 - 这没有帮助。
我不认为它背后的代码失败了（可能是下载和读取镶木地板的计算量很大）但我循环执行我的操作并尝试确保每个文件被单独处理但我假设我'我遇到了某种我不知道如何克服的内存错误。
我听说我可以 dockerise/使用 Kubernetes Pod Operator，这可能对我的资源有所帮助，但我不知道从哪里开始。任何帮助表示赞赏。
有谁知道我如何进一步升级我的实例
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）