问题描述
1-我用docker作为初始化动作创建了一个dataproc集群
gs://dataproc-initialization-actions/docker/docker.sh
根据:https://github.com/GoogleCloudDataproc/initialization-actions/tree/master/docker docker应该在主节点和工作节点中配置
2-我在主服务器中安装了SSH,安装了docker-compose并在其中克隆了我的应用程序。我的应用是一台烧瓶(python)服务器,它会根据API请求,处理一些数据并发回响应。
由于我的逻辑位于docker容器中,因此我想从容器内部调用dataproc master。 我已经在容器中安装了pyspark,但是不确定如何从docker容器中运行pyspark代码,这些代码可以由主机上的dataproc master + worker执行?
解决方法
暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!
如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@)