KinesisFirehose与ElasticSearch的整合

如果在创建 KinesisFirehose 时创建了 ElasticSearch 域,那么 KinesisFirehose 和 AWS ElasticSearch 的集成非常简单。

我认为直接将数据放入ElasticSearch也是一种方法,
但毕竟创建type时,随着JSON的复杂性增加,会变得非常麻烦。

然而,一旦将其上传到Firehose中,将获得相当大的好处。

Firehose和ElasticSearch協作的好處。

    • ログをすべてS3に保存する設定にしておけば、Athena等で解析が可能。ElasicSearchのエンドポイントを削除してしまっても安心

 

    • ElasticSearch側にindex, typeの設定をしておく必要がない。

なければ自動でつくられます

KinesisFirehoseにPUTするものがネストしたjsonでも、ElasticSearch側はエラーを起こさずにそのネストした状態でtypeを作ってくれる

string, int, dateの解釈もしれてくれます。

KinesisfirehoseにPUTされるJSONの中身に、あらたなキーが追加されてもそれに自動で対応してくれる

update作業いらずですね。すごすぎる

广告
将在 10 秒后关闭
bannerAds