在CentOS7上安装elasticsearch+kibana5等等

1 年 ago

雅, 悟

2 minutes

以下为在CentOS7环境下安装elasticsearch，kibana，logstash和beats（所有版本均为5系）的安装备忘录。
由于可以通过yum从存储库安装，所以非常简单。
这是一系列自我满足的步骤，一次性安装所有组件，并通过kibana开始记录日志。

创建elasticsearch.repo

[elasticsearch-5.x]
name=Elasticsearch repository for 5.x packages
baseurl=https://artifacts.elastic.co/packages/5.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

安装JDK1.8

据说如果同时安装devel和debuginfo，你会变得很幸福。

# yum install -y java-1.8.0-openjdk-devel
# yum install -y java-1.8.0-openjdk-debuginfo --enablerepo=*debug*

弹性诸多安装

用Yum软件包管理器快速安装

# yum -y install elasticsearch
# yum -y install logstash
# yum -y install kibana
# yum -y install metricbeat
# yum -y install packetbeat
# yum -y install filebeat
# yum -y install heartbeat

编辑kibana.yml文件

如果想从外部访问Kibana，请修改server.host。
※如果在公共服务器上安装，请务必单独进行安全设计，因为详细的服务器运行情况将对全球可见。

server.host: "0.0.0.0"

编辑elasticsearch.yml

如果要接受从外部访问elasticsearch，需要将elasticsearch.yml文件中的network.host修改为与kibana.yml相同的”0.0.0.0″。
如果只允许来自本地服务器的访问，则写上”local”。

# 自サーバ内からだけアクセスを受け付ける場合
network.host: _local_
# 外部からのアクセスを受け付ける場合
network.host: "0.0.0.0"

编辑 packetbeat.yml

请在packetbeat中填写要收集统计信息的端口号和es的地址等。
以下是收集一些http通信并将日志发送到正在运行的elasticsearch的示例。
由于packetbeat可以进行协议级别的详细设置，请务必仔细查看整个packetbeat.yml文件。
由于packetbeat会不断收集通信数据包，因此如果设置过多的收集选项，服务器可能会产生高负载。

############################# Protocols #######################################
# ports:で指定するポート番号は一例
packetbeat.protocols.http:
  ports: [80, 8080, 5601]

############################ Output ##########################################
# ログ送信先となるelasticsearchサーバのアドレスを記述する。
# 自サーバ内で動いてる時は"localhost:9200"でOK
  hosts: ["localhost:9200"]

安装适用于Metricbeat和Packetbeat的Kibana仪表板模板。

由于在Kibana中提供了查看Metricbeat和Packetbeat收集日志的模板，因此先安装它们。

# cd /usr/share/metricbeat
# ./scripts/import_dashboards
# cd /usr/share/packetbeat
# ./scripts/import_dashboards

编辑logstash的kibana.conf文件

弹性堆栈5.0.0 GA版本已发布！立即安装！！#elasticsearch- Taste of Tech Topics Acroquest Technology株式会社的技术博客由工程师撰写

我从以上网站借用了一些设置示例。
现在，您可以使用logstash收集kibana的访问日志。

input {
  file {
    codec => "json"
    path => "/var/log/kibana/kibana.stdout"
    start_position => "beginning"
    sincedb_path => "/var/log/logstash/since_kibana"
  }
}

output {
  elasticsearch {
    index => "kibana_access-%{+YYYY.MM.dd}"
    document_type => "%{type}"
  }
}

安装kuromoji

这个插件将包括日语等2字节字符在内进行日志分析。

# /usr/share/elasticsearch/bin/elasticsearch-plugin install analysis-kuromoji

启动一个程序

嗡嗡声响起，嗡嗡声启动。嗡嗡声激活。

# systemctl start elasticsearch
# systemctl start logstash
# systemctl start kibana
# systemctl start metricbeat
# systemctl start packetbeat
# systemctl start filebeat
# systemctl start heartbeat

# systemctl enable elasticsearch
# systemctl enable logstash
# systemctl enable kibana
# systemctl enable metricbeat
# systemctl enable packetbeat
# systemctl enable filebeat
# systemctl enable heartbeat

尝试访问Kibana。

默认情况下，它在端口5601上启动。
您可以通过kibana.yml文件更改公开端口。

http://自サーバのIPアドレス:5601

当无法访问时怎么办？

你有没有忘记打开firewalld的洞口？（我经常会忘记）

那个？filebeat和heartbeat的设置在哪里？

目前只是简单安装，还没有开始学习…
看起来 heartbeat 可以用来监控其他服务器的 ping，可以建立多个服务器来使用。
filebeat 可以整理各种日志文件并将其发送到 elasticsearch。

我在本地运行了几周的时间，但是…

用一台二核物理CPU加上8GB内存（其中2GB分配给弹性）的机器来显示一周或一个月的统计数据，会非常卡。所有事情都是通过经验积累的。