Logstash与Spring Cloud数据流,哪个适合数据预处理?

问题描述

我正在使用spring boot和elasticsearch在我的网站上建立搜索系统。

我需要一些数据来进行弹性搜索,必须在处理该数据(例如产品)之前(将其传递给另一个过滤JSON的微服务,然后添加一些字段以获取更好的搜索结果)一些计算并返回我要存储的对象)。是否可以通过日志存储来做到这一点,或者我需要使用Spring Cloud Data Flow吗?预先感谢。

我想做什么:

save a product ( product service ) 
log the saved product or stream it.
process it before storage ( another service ) 
save the document ( elastic search server )

谢谢。

解决方法

显然,这取决于各种因素,但是我可以尝试从技术角度对Spring Cloud Data Flow进行一些分析。

如果您想构建一个流水线管道,通过执行此数据处理流程的消息传递系统连接您的过滤应用程序,则可以签出Spring Cloud Data Flow。

Spring Cloud Data Flow(以及诸如Spring Cloud Stream和Spring Cloud Task之类的基础框架支持)在如何管理流传输管道方面提供了运营优势,但是如果您不需要使用以下内容的数据管道,则可能没有任何意义消息系统等),在那种情况下,您只需要使用一个简单的Spring Boot应用程序即可完成整个过滤模型。一旦您开始探索通过消息传递系统松散耦合的这些应用程序的分布,Spring Cloud Data Flow将非常方便。

请结帐SCDF guide以了解其中的featuresrecipes,以进一步了解SCDF可以提供的内容并选择适合您的情况。