问题描述
我想在用 Scala 编写的 Nifi 自定义处理器中创建一个 Spark 会话，到目前为止我可以在 Scala 项目上创建我的 Spark 会话，但是当我在 nifi 自定义处理器的 OnTrigger 方法中添加这个 Spark 会话时， spark会话永远不会被创建，有什么办法可以实现吗？到目前为止，我已经导入了 spark-core 和 spark-sql 库 任何反馈表示赞赏
解决方法
无法使用流文件。期间。
您需要在 Spark Streaming 或 Spark Structured Streaming 之间使用 Kafka。顺便说一句，这里很好读：https://community.cloudera.com/t5/Community-Articles/Spark-Structured-Streaming-with-NiFi-and-Kafka-using-PySpark/ta-p/245068