资料内容:
Spring Cloud Data Flow 以下简称 SCDF,是一个用于构建数据集成和实时数据处理管道的 工具包。管道由 Spring Boot 应用程序组成,使用 Spring Cloud Stream 或 Spring Cloud Task 微服务框架构建。 这使得 SCDF 适用于各种数据处理场景,从导入/导出到事件流和 预测分析。
Spring Cloud Data Flow 以下简称 SCDF,是一个用于构建数据集成和实时数据处理管道的 工具包。管道由 Spring Boot 应用程序组成,使用 Spring Cloud Stream 或 Spring Cloud Task 微服务框架构建。 这使得 SCDF 适用于各种数据处理场景,从导入/导出到事件流和 预测分析。
如上图所示,开发人员可以通过编写 JavaDSL 或者用拖拽的方式完成一个 Pipeline 的定 义,定义好的 Pipeline(Stream)可以一键部署到 SCDF Server,一个数据流处理的管道 就运行起来了,开发人员只需要关注 Source,Processor,Sink 三个微服务的业务逻辑开 发,可以说 SCDF 让我们只于去解决问题,其它的事情都可以交给 SCDF 解决。当然 SCDF 很多默认的微服务组件可以用,很多时候我们不需要开发了,只需要找到合适的 application 用于组成我们想要的 Stream 就可以了。