要理解本文内容,需对NIFI有一定的了解,如果您是新手,想学习NIFI,或者想在数仓架构中引入NIFI,欢迎加我微信bigdata_work,我这有一整套使用NIFI的实时数仓落地方案。
在建设实时数仓的过程中,利用缓存机制来提升实时指标的实时性,是一种常用的方法。NIFI提供了专门的缓存组件来应对这一需求。
了解缓存组件
NIFI中的缓存组件是成对出现的,即有负责将数据放入缓存的组件,有负责将数据从缓存取出的组件。这两个组件如下:
首先将PutDistributedMapCache组件添加到画布中,看一下有什么属性:
这里要理解的一个属性是Distributed Cache Service(缓存服务)。缓存服务是要单独创建的一个Controller Service,NIFI支持多种第三方缓存服务: