我有一个非常大的只读数据,我希望同一节点上的所有执行程序都可以使用.这可能在Spark中.我知道,你可以广播变量,但是你可以广播真正的大数组.在引擎盖下,它是否在同一节点上的执行程序之间共享数据？这如何能够在同一节点上运行的执行程序的JVM之间共享数据？
是的,在考虑您的数据是只读(不可变)时,您可以使用
broadcast变量.广播变量必须满足以下
属性.
>适合记忆
>永恒不变
>分发到群集
所以,这里唯一的条件是你的数据必须能够适合一个节点的内存.这意味着数据不应该是超大或超出内存限制的任何东西,如大表.
每个执行器都接收广播变量的副本,并且该特定执行器中的所有任务都在读取/使用该数据.这就像向集群中的所有工作节点发送大型只读数据一样.即,只向每个工人运送一次而不是每个任务和执行者(它的任务)读取数据.
