Apache NiFi是一种数据流编排工具,可以对数据流进行管理和协调

最近,我发现了一个很有意思的数据流编排工具Apache NiFi,下面我将简要概述一下它的实际情况。

什么是Apache NiFi?

flow.png

NiFi是Apache的一个顶层项目,在2015年7月成立,并且正在进行开发。此外,在2015年8月底,负责NiFi的企业Onyara被Hortonworks收购,从Hortonworks推出了NiFi的专有发行版“Hortonworks DataFlow”。这样通过将移动数据的NiFi和静止数据的Hadoop结合在一起,可以处理更广泛的数据范围,这似乎是其目标。

Apache NiFi的特点是什么?

从Apache NiFi的主页上可以看出,NiFi具有以下特点。
NiFi可以将可扩展的数据流定义为有向图,并且可以结合数据的路由、转换和中间逻辑进行操作。
它具有以下功能。

    • WebベースUI

設計、制御、フィードバックや監視がシームレスに実行可能

高い設定性

信頼性と速度をどちらを取るかの調整
低レイテンシと高スループットの調整
動的な優先順位付け
フローを動作中に変更可能
バックプレッシャー機構

データ由来の明確化

データフローをはじめから最後までトラッキング

拡張に対して開かれた設計

自前でプロセッサを開発可能
高速な開発と容易なテストが可能

セキュア

SSL、SSH、HTTPS等暗号化方式をサポート
プラガブルなロールベースの認証/認可

当我们看到概述时,它充满了令人兴奋的要素。以前我曾经使用Apache Camel等工具来编写这种类型的数据转换处理,但是现在它可以通过界面进行定义,并且可以进行可扩展的运行,我认为这是非常重要的。

暫時嘗試啟動NiFi(Windows)

首先,让我们试着启动NiFi。

キャプチャ.JPG
キャプチャ.JPG

最后

我将简要总结一下NiFi是什么,然后只进行实际启动的尝试。在今后的次回中,我打算先尝试一种模式的操作,然后再查看NiFi的概述和架构。