如何在 VSCode 中运行 Spark 批处理作业

问题描述

我正在尝试在 VS 代码中运行批处理作业，但一直收到错误提示，提示我先登录，我不知道为什么。 我的 settings.json 是用我的文件设置的：

{
    "hdinsightJobSubmission.ClusterConf": [
        {
            "name": "Hue: http://xumclu123.td.knv:8998 (franklinm23)","filePath": "c:\\Users\\franklinm23\\Spark\\HelloWorld.py"
        }
    ],"python.pythonPath": "C:\\Users\\franklinm23\\.msvscode.hdinsight\\hdinsightJupyter\\Scripts\\python.exe"
}

当我右键单击我的 helloworld.py 时，我将其作为输出：

[2021-1-15:13:54:21] [Info] Set Hive: http://xumclu123.td.knv:8998 as the default job submission cluster!

然后当我右键单击 Spark：PySpark Ba​​tch 我得到：

[2021-1-15:13:56:13] [Info] start submitting spark application to cluster Hive: http://xumclu123.td.knv:8998 (franklinm23)
[2021-1-15:13:56:13] [Error] Error: please sign in at first!

我已经尝试了所有集群，它们都在运行。我错过了什么？

解决方法

用户未正确登录。