有什么办法在JavaRdd.maprdd-> {}中使用JavaSparkContext？

问题描述

我正在考虑执行以下代码。但是，我收到一个错误消息，说JavaSparkContext（sc）无法序列化。我想知道是否还有其他方法可以绕过？

javaRdd.map(rdd -> {
        List<String> data = new ArrayList<>();
                    ObjectMapper mapper = new ObjectMapper();
                    for (EntityA a : rdd) {
                        String json = null;
                        try {
                            json = mapper.writeValueAsstring(a);
                        } catch (JsonProcessingException e) {
                            e.printstacktrace();
                        }
                        data.add(json);
                    }
                    JavaRDD<String> rddData = sc.parallelize(data);
                    DataFrame df = sqlContext.read().schema(schema).json(rddData);
   });

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）