Apache Livy Java API：将 REST api 调用转换为 java api 调用

编程问答 2022-05-30

问题描述

我正在尝试使用 LivyClient 向 k8s 上正在运行的 Livy 集群提交作业。我可以使用下面的 REST api 来做同样的事情 -

    kubectl exec --namespace livy livy-0 -- curl -s -k -H 'Content-Type: application/json' -X POST --data '{
        "name": “abc”,"className": "com.example.SparkMain","numExecutors": 2,  
        "file": "s3a:///bucket/main_app.jar“,“files”: “s3a:///bucket/Spark0.scala”,“s3a:///bucket/k8-cco-site.xml”,“s3a:///bucket/log4j_infa_spark_driver.properties”,“s3a:///bucket/log4j_infa_spark_executor.properties”,"conf": { "spark.kubernetes.namespace": "livy" } }' "http://<external_ip>:<external_port>/batches"

我正在尝试使用 Livy Java API 做类似的事情。假设我为 livy 服务器公开了一个公共/外部 IP，有人可以指导我如何将此 cURL 命令转换为 livy java API 调用之一吗？

我尝试遵循此示例 https://livy.incubator.apache.org/docs/latest/programmatic-api.html 但由于我已经有了 Spark 逻辑 Spark0.scala，我不确定如何实现 Job 类和相应的方法。

提前致谢！

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

apache-sparkjavajavalivy