使用Logstash + Elasticsearch + Kibana构建数据可视化

首先

最近，在工作场所，可视化成为了话题，所以我在家里进行了技术验证。

以下是汉语的同义句：

【参考】

・[http://acro-engineer.hatenablog.com/entry/2016/10/27/165342]
・[http://acro-engineer.hatenablog.com/entry/2016/10/27/165342]

■环境

自然界和人类周围的物质和条件；能够影响生物生存和发展的外部因素。

・CentOS7.4
→禁用了SELinux和Firewalld
・elasticsearch-5.6.8
・kibana-5.6.8
・logstash-5.6.8-1

■安装

・注册代码库

# 打开/etc/yum.repos.d/elastic.repo文件
[elasticsearch-5.x]
name=5.x版本的Elasticsearch软件包的Elasticsearch存储库
baseurl=https://artifacts.elastic.co/packages/5.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

安装

# 安装java-1.8.0-openjdk-devel
# 导入https://artifacts.elastic.co/GPG-KEY-elasticsearch的rpm密钥
# 安装elasticsearch
# 安装kibana
# 安装logstash

■初始设置

允许Kibana的外部连接。

打开/etc/kibana/kibana.yml文件
将server.host设置为”0.0.0.0″

自动启动

启动elasticsearch服务
启动kibana服务
启动logstash服务
启用elasticsearch服务
启用kibana服务
启用logstash服务

■演示（对Apache日志进行解析）

– 建立设置
or
– 设定选项

# vi /etc/logstash/conf.d/10_apache_access_log.conf
输入 {
文件 {
路径 => “/var/log/httpd/access_log”
起始位置 => “开头”
}
}

过滤器 {
grok {
匹配 => { “message” => “%{COMBINEDAPACHELOG}” }
}
日期 {
匹配 => [“timestamp”, “dd/MMM/YYYY:HH:mm:ss Z”]
}
地理位置信息 {
源 => [“clientip”]
}
}

输出 {
Elasticsearch {
主机 => [“localhost:9200”]
索引 => “access_log-%{+YYYYMMdd}”
}
}

采集

以下是一个选项的汉语原生解释：
使用/usr/share/logstash/bin/logstash命令并通过/etc/logstash/conf.d/10_apache_access_log.conf文件进行配置。

将索引进行登记

打开Kibana

http://＜服务器IP＞:5601

逐个打开「管理」「索引模式」「创建索引模式」。

请在输入框中输入”3″并点击”create”按钮。

绘制图表

1. 按照顺序打开「可视化」、「＋」、「垂直条形图」和「access_log-*」。
2. 输入以下内容，即可完成图表的制作。

这就是所有的内容。