问题描述
所以我在一个运行 python 脚本的 win 工作站上，用于处理非常大的 .tif 文件的 GIS。有一个 linux 服务器，我想使用它的处理能力。我已经通过 ssh 连接到服务器 (netmiko) 并设置了 pathos 多处理以在节点上运行。在小型项目上效果很好。当我放大它时，它由于工作站上的内存分配而崩溃。
我意识到工作站正在尝试将所有内容加载到内存中。
我已经在 ubuntu 服务器中映射了工作 tif 文件目录。
如何在python中调用和存储相对于服务器的文件路径，绕过工作站文件目录，并调用相对于工作节点的对象？
目前正在使用 RabbitMQ 研究 celery
解决方法
嗯，我和我的网络人员谈过，他们为我建立了一个集群来直接编码，woot woot。我认为 gRPC 也可以处理这个问题。