2021年02月搭建Docker的ELK堆栈

1 年 ago

清, 宇

3 minutes

首先

对呀，就是ELK Stack。
因为还没有安装Beats，所以可能不能算作完整的Elastic Stack吧。

我参考了以下文章进行学习，尝试进行建设。

DockerでELK(Elasticsearch Logstash Kibana) を構築してみました

这次使用的东西

我们基于Docker已经安装完成的前提来进行操作。

ミドルウェアバージョン確認URLnginx1.19.7-alpinehttp://localhost elasticsearch-oss7.10.1http://localhost:9200 logstash-oss7.10.1http://localhost:9200/_cat/count/access_log1 kibana-oss7.10.1http://localhost:5601

开始构建

创建一个作业文件夹

我会创建一个作业文件夹。

$ mkdir elkwork
$ cd elkwork

创建一个与Docker共享的文件夹。

$ sudo mkdir -p /data/elk

我会更改elk文件夹的所有者。
示例中使用了user:user，但我使用了myname:staff（其中myname是我的用户名）。

$ sudo chown user:user data/elk

从这里开始，在elk文件夹下创建共享文件夹。

首先，创建一个用于elasticsearch的共享文件夹。

$ mkdir data/elk/elasticsearch

接下来，我们要创建一个用于logstash的共享文件夹。

$ mkdir -p data/elk/logstash/pipeline

最后，创建一个用于nginx的共享文件夹。

$ mkdir -p data/elk/log/nginx

启动nginx。

启动Nginx。
在指定Nginx共享文件夹时遇到了错误，但已经解决。2

$ docker run -d --restart always -v /Users/myname/Downloads/elkwork/data/elk/log/nginx:/var/log/nginx -p 80:80 nginx:1.19.7-alpine

我会确认nginx是否已启动。

启动Elasticsearch。

我要启动elasticsearch。

$ docker run -d --restart always -v /Users/myname/Downloads/elkwork/data/elk/elasticsearch:/usr/share/elasticsearch/data -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node"  --name elasticsearch docker.elastic.co/elasticsearch/elasticsearch-oss:7.10.1

确认Elasticsearch已启动。
只要返回JSON即可。

{
  "name" : "34db2f5a288c",
  "cluster_name" : "docker-cluster",
  "cluster_uuid" : "RZ9UOc4TTv-28XD7Kw5Nqw",
  "version" : {
    "number" : "7.10.1",
    "build_flavor" : "oss",
    "build_type" : "docker",
    "build_hash" : "1c34507e66d7db1211f66f3513706fdf548736aa",
    "build_date" : "2020-12-05T01:00:33.671820Z",
    "build_snapshot" : false,
    "lucene_version" : "8.7.0",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}

启动Logstash

将Logstash的配置文件（conf文件）创建在data/elk/logstash/pipeline文件夹下。

input {
  file {
    path => "/var/log/nginx/access.log"
    start_position => beginning
  }
}

filter {
  grok {
    match => { "message" => ["%{IPORHOST:[nginx][access][remote_ip]} - %{DATA:[nginx][access][user_name]} \[%{HTTPDATE:[nginx][access][time]}\] \"%{WORD:[nginx][access][method]} %{DATA:[nginx][access][url]} HTTP/%{NUMBER:[nginx][access][http_version]}\" %{NUMBER:[nginx][access][response_code]} %{NUMBER:[nginx][access][body_sent][bytes]} \"%{DATA:[nginx][access][referrer]}\" \"%{DATA:[nginx][access][agent]}\""] }
    remove_field => "message"
  }
  mutate {
    add_field => { "read_timestamp" => "%{@timestamp}" }
  }
  date {
    match => [ "[nginx][access][time]", "dd/MM/YYYY:H:m:s Z" ]
    remove_field => "[nginx][access][time]"
  }
  useragent {
    source => "[nginx][access][agent]"
    target => "[nginx][access][user_agent]"
    remove_field => "[nginx][access][agent]"
  }
  geoip {
    source => "[nginx][access][remote_ip]"
    target => "[nginx][access][geoip]"
  }
}

output {
  elasticsearch {
    hosts => [ 'elasticsearch' ]
    index => "access_log1"
  }
}

开始运行logstash。

$ docker run -d --restart always -v /Users/myname/Downloads/elkwork/data/elk/logstash/pipeline:/usr/share/logstash/pipeline -v /Users/myname/Downloads/elkwork/data/elk/log:/var/log --link elasticsearch:elasticsearch  --name logstash docker.elastic.co/logstash/logstash-oss:7.10.1

我将启动Logstash，并确认日志已被传输。
从内容看，非常好奇是否已正确传输。
我将对其进行格式化，以便更易于查看。

{
    "error":{
        "root_cause":[{
            "type":"index_not_found_exception",
            "reason":"no such index [access_log1]",
            "resource.type":"index_or_alias",
            "resource.id":"access_log1",
            "index_uuid":"_na_",
            "index":"access_log1"
        }],
        "type":"index_not_found_exception",
        "reason":"no such index [access_log1]",
        "resource.type":"index_or_alias",
        "resource.id":"access_log1",
        "index_uuid":"_na_",
        "index":"access_log1"
    },
    "status":404
}

5. 启动Kibana

启动Kibana。

$ docker run -d --restart always -p 5601:5601 --link elasticsearch:elasticsearch -e ELASTICSEARCH_URL=http://elasticsearch:9200 --name kibana docker.elastic.co/kibana/kibana-oss:7.10.1

确认Kibana已启动3。