基于列的 Spark 应用模型

问题描述

我想应用基于语言列的模型转换。

models = {}
models['en'] = mlflow.spark.load_model("model_en")
models['ru'] = mlflow.spark.load_model("model_ru")

所需的数据帧:

| text | language | output          |
| ...  | en       | model_en_output |
| ...  | ru       | model_ru_output |

由于延迟要求,我需要使用连续处理,所以我不能为此使用 UDF。

如何根据语言列应用相应的模型转换?

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)