使用Livy Interactive Session提交Spark Job

问题描述

我正在尝试提交Fat JAR并在本地运行。

我遵循的步骤:

  1. 入门大师
  2. 开始一个奴隶
  3. 从端口8998开始Livy
  4. 创建了JAR

我像这样成功地使用批处理创建了作业:

localhost:8998 /批处理

{
   "className": "com.example.main.Main","executorMemory": "10g","args": [
       "spark://user-desktop:7077"
   ],"file": "local:/home/user/Desktop/example.jar"
}

我想使用Interactive Session做到这一点,我关注了一些帖子,试图使其不起作用。我在做什么错了?

localhost:8998 / sessions /

{
    "conf": {
        "kind": "spark","className": "com.example.main.Main","jars": "local:/home/user/Desktop/example.jar"
    }
}

有人可以帮助我在本地运行JAR并使用交互式会话来运行JOB吗?

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)

相关问答

依赖报错 idea导入项目后依赖报错,解决方案:https://blog....
错误1:代码生成器依赖和mybatis依赖冲突 启动项目时报错如下...
错误1:gradle项目控制台输出为乱码 # 解决方案:https://bl...
错误还原:在查询的过程中,传入的workType为0时,该条件不起...
报错如下,gcc版本太低 ^ server.c:5346:31: 错误:‘struct...