SparkNLP NerDLModel 加载抛出 NoSuchMethodException

问题描述

我目前正在使用 John SNow 实验室的 SparkNLP 库来训练自定义 NER 模型。我能够成功完成训练并且模型正在保存到磁盘。当我尝试为下一步加载模型以实际标记一些示例数据时，我遇到了以下错误。我在 Windows 10 上使用 Ubuntu。 spark-nlp_2.12:3.1.2 with Spark 3.1.2,scala 2.12.10 OpenJDK 8

我也在 PySpark 上尝试了相同的方法，但得到了相同的确切错误 pyspark 错误：

java.lang.NoSuchMethodException: org.apache.spark.ml.PipelineModel.(java.lang.String) 在 java.lang.class.getConstructor0(Class.java:3082) 在 java.lang.class.getConstructor(Class.java:1825) 在 org.apache.spark.ml.util.DefaultParamsReader.load(ReadWrite.scala:468) 在 com.johnsNowlabs.nlp.FeaturesReader.load(ParamsAndFeaturesReadable.scala:12) 在 sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) 在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 在 java.lang.reflect.Method.invoke(Method.java:498) 在 py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:244) 在 py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357) 在 py4j.Gateway.invoke(Gateway.java:282) 在 py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132) 在 py4j.commands.CallCommand.execute(CallCommand.java:79) 在 py4j.GatewayConnection.run(GatewayConnection.java:238) 在 java.lang.Thread.run(Thread.java:748)

感谢任何帮助。 Scala版本错误 java.lang.NoSuchMethodException:

org.apache.spark.ml.PipelineModel.(java.lang.String) 在 java.lang.class.getConstructor0(Class.java:3082) 在 java.lang.class.getConstructor(Class.java:1825) 在 org.apache.spark.ml.util.DefaultParamsReader.load(ReadWrite.scala:468) 在 com.johnsNowlabs.nlp.FeaturesReader.load(ParamsAndFeaturesReadable.scala:12) 在 com.johnsNowlabs.nlp.FeaturesReader.load(ParamsAndFeaturesReadable.scala:8)

val loaded_ner_model = NerDLModel.load("./NER_bert_prod_20200221")
   .setInputCols("sentence","token","bert")
   .setoutputCol("ner")
   

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）