安装NiFi

ローカルNiFi環境構築：Docker環境でApache NiFiを起動

NiFi 管理

• Ambari 経由でNiFi にログイン

 

AmbariからNiFiのどんなものを集められるか？

《NiFi食谱》

• Hello Wold: 一番シンプルなデータフローを作ってみよう

FTPからデータ取得

FTPファイルを並列的に取り込み、HDFSに保存

REST APIからのデータ取得
Apache Webサーバー アクセスログ取得
[S3フォルダからファイルを取得し、HDFSに保存] (https://qiita.com/zzeng/items/f51437d247c3e02b0d71)
HTTPプロセッサーでリモートファイルを取得・解凍し、特定パターンのファイルを整形した後にKafkaに流す
画像処理：MiNiFiでIoT設備(RaspberryPi)から画像データを取得し、NiFiに送る。NiFiがTensorFlowを呼び出し、画像認識して結果をHDFS/Hiveに保存
音声処理：MiNiFiでIoT設備(RaspberryPi)から画像データを取得し、NiFiに送る。NiFiがデータをWatsonAPIに流して、分類結果をHDFS/Hiveに保存
RDB(MySQL/Oracle/SQL Server等)からレコードを抽出して、NiFi内で変換してHiveに保存
IoTセンサーからデータを集めて、データセンターに送信
IoTセンサーからデータを集めて、Cloudに送信
REST APIを叩いて、結果JSONの特定のKey/Valueに基づいてデータを変換・保存
DMPのデータ収集
Cloudのデータ伝送コスト削減：クラウドに保存したIoTデータを違うクラウド環境（あるいはOn-Premise）に伝送して分析環境に保存
既存LegacyシステムのAdapter：既存LegacyシステムデータをHadoop環境に取り入れる
MiNiFiでセンサーデータを取得し、NiFiに転送してHDFS、Hiveに書き込む