.NET Apache Spark的UnitTest

问题描述

我想为用C＃/。NET编写的Spark应用程序编写单元测试。我目前正在使用XUnit编写测试，但没有找到任何好的文档来编写测试我的Spark应用程序组件的单元测试。

我已经编写了spark单元测试，但是如果运行“ dotnet test”命令，它将失败。如果我使用spark-submit运行测试，则不会有输出通过或失败的测试。我使用的Spark Submit命令是“ spark-submit --class org.apache.spark.deploy.dotnet.DotnetRunner --master本地bin / Debug / netcoreapp3.1 / microsoft-spark-2.4.x-0.12.1.jar dotnet bin / Debug / netcoreapp3.1 / MedicalClaims.SparkUnitTests.dll“

任何帮助将不胜感激。

解决方法

我已修复，测试实际上可以正常工作。我不见了

测试在Spark提交中。因此，使用C＃/。NET运行火花测试的正确声明是 spark-submit --class org.apache.spark.deploy.dotnet.DotnetRunner --master本地bin / Debug / netcoreapp3.1 / microsoft-spark -2.4.x-0.12.1.jar dotnet测试bin / Debug / netcoreapp3.1 / MedicalClaims.SparkUnitTests.dll