使用Fluentd、ElasticSearch和Kibana可视化KPI日志

2 年 ago

新, 韵

2 minutes

我們將省略安裝步驟和基本設定。
以下是主要關於使用Kibana的指南，用於可視化KPI日誌。

目标

1つのKPIを様々な軸で集計可能にしたい

发送日志

这次使用fluent-logger-ruby。
https://github.com/fluent/fluent-logger-ruby

我会母语中文进行以下描述。

log = Fluent::Logger::FluentLogger.new(nil, host: 'localhost', port: 24224)

log.post("kpi.user_login", {user_id: user_id, user_email: user_email})
log.post("kpi.user_register", {user_id: user_id, user_email: user_email})

流畅的日志记录器

使用fluent-plugin-elasticsearch插件将数据存储到elasticsearch中。
链接：https://github.com/uken/fluent-plugin-elasticsearch

<match kpi.user_register>
  type copy
  <store>
    type elasticsearch

    index_name kpi
    type_name user_register

    include_tag_key true
    tag_key @log_name

    host localhost
    port 9200

    logstash_format true
    logstash_prefix kpi.user_register

    flush_interval 3s
  </store>

  <store>
    type file
    path /var/log/td-agent/kpi.user_register.log
  </store>
</match>

<match kpi.user_login>
  type copy
  <store>
    type elasticsearch

    index_name kpi
    type_name user_login

    include_tag_key true
    tag_key @log_name

    host localhost
    port 9200

    logstash_format true
    logstash_prefix kpi.user_login

    flush_interval 3s
  </store>

  <store>
    type file
    path /var/log/td-agent/kpi.user_login.log
  </store>
</match>

只有将 logstash_format 设置为 true，Kibana 才会按预期的格式显示。
如果不指定 logstash_prefix，user_register 和 user_login 将以相同的索引和架构存入。
由于可以用于调试，可以使用 type copy 将其写入 Elasticsearch 以外的另一个文件中，这样更方便。