KinesisFirehose与ElasticSearch的整合
如果在创建 KinesisFirehose 时创建了 ElasticSearch 域,那么 KinesisFirehose 和 AWS ElasticSearch 的集成非常简单。
我认为直接将数据放入ElasticSearch也是一种方法,
但毕竟创建type时,随着JSON的复杂性增加,会变得非常麻烦。
然而,一旦将其上传到Firehose中,将获得相当大的好处。
Firehose和ElasticSearch協作的好處。
-
- ログをすべてS3に保存する設定にしておけば、Athena等で解析が可能。ElasicSearchのエンドポイントを削除してしまっても安心
-
- ElasticSearch側にindex, typeの設定をしておく必要がない。
なければ自動でつくられます
KinesisFirehoseにPUTするものがネストしたjsonでも、ElasticSearch側はエラーを起こさずにそのネストした状態でtypeを作ってくれる
string, int, dateの解釈もしれてくれます。
KinesisfirehoseにPUTされるJSONの中身に、あらたなキーが追加されてもそれに自動で対応してくれる
update作業いらずですね。すごすぎる