我试图在pyspark会话中执行以下命令:
>>> a = [1,2,3,4,5,6,7,8,9,10] >>> da = sc.parallelize(a) >>> da.reduce(lambda a,b: a + b)
它工作正常.我得到了预期的答案(55).现在我尝试使用numpy数组而不是python列表:
>>> import numpy >>> a = numpy.array([1,10]) >>> da = sc.parallelize(a) >>> da.reduce(lambda a,b: a + b)
结果我得到了很多错误.更具体地说,我在错误消息中多次看到以下错误:
ImportError: No module named numpy.core.multiarray
是不是安装了不是我的集群或pyspark无法在基础级别上使用numpy数组?