问题描述
我已经在开发人员和企业模式下使用了Google Cloud平台的DataFusion产品。
对于开发人员模式,没有dataproc设置(主节点,辅助节点)。
对于企业模式,有一个dataproc设置值。 (主节点,工作节点)
我很好奇的是企业模式的情况。
我能够为Master节点和Worker节点设置值。
详细
Enterprise
- Dataproc
- Master.
- Number of masters: 1
- Master Cores: 2vcpu
- Master Memory (GB): 4GB
- Master Disk Size (GB): 1TB
- Worker
- Number of Workers: 2
- Worker Cores: 4vcpu
- Worker Memory (GB): 16GB
- Worker Disk Size (GB): 1.5TB
- VM
- Driver.
- CPU : 2
- Memory: 4GB (=4096MB)
- Executor
- CPU : 2
- Memory : 8GB (=8192MB)
设置如上。
创建数据管道时,我可以看到每个VM都已创建。
我很好奇VM的驱动程序,执行器和Dataproc的Worker节点之间的关系。
实际上,DataFusion提供了dataproc的设置。以后创建数据管道时,它将运行VM实例作为该dataproc的设置。我想知道VM实例的设置值(驱动程序,执行器)和dataproc的值之间的关系。
解决方法
暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!
如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@)