使用Elasticsearch+Kibana进行数据分析（环境设置部分）

1 年 ago
逸, 科
3 minutes

首先

关于这篇文章的整体结构

本文旨在介绍使用Elasticsearch和Kibana进行环境设置，数据导入和数据搜索/分析的过程。文章的结构如下所示。

第一部分：利用Elasticsearch+Kibana进行数据分析（环境设置部分）
第二部分：利用Elasticsearch+Kibana进行数据分析（创建模式和注册数据部分）
第三部分：利用Elasticsearch+Kibana进行数据分析（创建图形和仪表板部分）

在这里，我们将介绍Elasticsearch和Kibana，并解释如何搭建使用它们进行数据分析的环境。

“Elasticsearch和Kibana的概述”

弹性搜索 suǒ)

https://www.elastic.co/products/elasticsearch

ElasticSearch是由Elastic公司开发的数据存储和分析工具，从分类上来说，它属于NoSQL产品。它以Apache许可证进行公开，并且用户可以免费使用，如果不需要支持，还可以进行再分发和修改。

Kibana 可視化工具

rows_as_groups.png

有多快？

在实际环境中搭建并进行了数据分析验证后，大约1亿条数据的分析在约5秒钟内完成。

使用的服务器规格如下所示（一台）。

スペック項目スペック値備考OSRedhut Linux 7.2
CPU8 coresIntel(R) Xeon(R) CPU E5-2620 0 @ 2.00GHzメモリ16 GB
HDD200GB媒体はHDDを利用。接続はRAID0を使い、ある程度高速化

在开始进行数据分析之前，需要完成以下3个步骤。在这里，我们将逐步解释每一个步骤。

1. 环境设置
2. 创建映射（模式）
3. 数据登记

环境设置

安装步骤概览

按照 Elasticsearch、Elasticsearch插件、Kibana的顺序进行安装。
基本上，只需下载并回答问题即可立即运行，因此操作很简单。

在安装方法方面，有两种方式可供选择：①下载Zip文件并启动Shell方式，②将其作为服务来安装并运行。这里介绍第一种方法。
如果只是想在自己的服务器上试着运行一下，那么使用这种方法就可以了。但如果想在服务器上安装并供大家使用，这种方法可能会有问题。如果希望将其作为服务，并包含自动启动功能进行安装，可以参考下面的文章。
Elasticsearch＋Kibana的安装（包含代理和自动启动设置）

弹性搜索

只需以下4个步骤即可完成设置（简单！）
1. 图像下载
通过执行以下命令，从互联网上下载图像文件。

curl -x (プロキシアドレス）:（ポート） -L -O https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/tar/elasticsearch/2.3.2/elasticsearch-2.3.2.tar.gz

解压缩2.Zip文件。

tar -xvf elasticsearch-2.3.2.tar.gz

执行启动程序

cd elasticsearch-2.3.2/bin
./elasticsearch

在中国，请执行以下操作：
运行./elasticsearch.sh（如果是Windows系统，则运行elasticsearch.bat）。
4. 验证启动
如果显示以下消息，则表示启动成功。

[2016-05-13 14:30:50,746][INFO ][node                     ] [Scott Summers] version[2.3.2], pid[16409], build[b9e4a6a/2016-04-21T16:03:47Z]
[2016-05-13 14:30:50,746][INFO ][node                     ] [Scott Summers] initializing ...
[2016-05-13 14:30:59,712][INFO ][plugins                  ] [Scott Summers] modules [reindex, lang-expression, lang-groovy], plugins [], sites []
[2016-05-13 14:30:59,902][INFO ][env                      ] [Scott Summers] using [1] data paths, mounts [[/ (rootfs)]], net usable_space [32.1gb], net total_space [37.4gb], spins? [unknown], types [rootfs]
[2016-05-13 14:30:59,902][INFO ][env                      ] [Scott Summers] heap size [1015.6mb], compressed ordinary object pointers [true]
[2016-05-13 14:30:59,903][WARN ][env                      ] [Scott Summers] max file descriptors [4096] for elasticsearch process likely too low, consider increasing to at least [65536]
[2016-05-13 14:31:06,538][INFO ][node                     ] [Scott Summers] initialized
[2016-05-13 14:31:06,539][INFO ][node                     ] [Scott Summers] starting ...
[2016-05-13 14:31:07,193][INFO ][transport                ] [Scott Summers] publish_address {127.0.0.1:9300}, bound_addresses {[::1]:9300}, {127.0.0.1:9300}
[2016-05-13 14:31:07,209][INFO ][discovery                ] [Scott Summers] elasticsearch/12SFkQOqQlOr2Gw2k5M6fQ
[2016-05-13 14:31:10,375][INFO ][cluster.service          ] [Scott Summers] new_master {Scott Summers}{12SFkQOqQlOr2Gw2k5M6fQ}{127.0.0.1}{127.0.0.1:9300}, reason: zen-disco-join(elected_as_master, [0] joins received)
[2016-05-13 14:31:10,388][INFO ][http                     ] [Scott Summers] publish_address {127.0.0.1:9200}, bound_addresses {[::1]:9200}, {127.0.0.1:9200}
[2016-05-13 14:31:10,389][INFO ][node                     ] [Scott Summers] started
[2016-05-13 14:31:10,521][INFO ][gateway                  ] [Scott Summers] recovered [0] indices into cluster_state
image

Kibana 是一种数据可视化工具。

1. 图像下载
https://www.elastic.co/downloads/kibana
2. 解压TAR文件
tar xfvz kibana-4.5.0-linux-x64.tar.gz
3. 修改配置文件
打开config/kibana.yml进行编辑
vi config/kibana.yml

[kibana-4.5]
...
elasticsearch.url: yourhousname.com
...

执行启动程序
./bin/kibana

5.启动确认
http://yourhost.com:5601

介绍和安装Elasticsearch插件的步骤

为了更方便地使用Elasticsearch，介绍了安装最基本必备插件的方法。

如果安装的Elasticsearch版本是最新的，则需要注意一些插件可能无法安装。

漫威

可以监视Elasticsearch的状态。虽然可以在一个月内免费使用，但继续使用需要另外注册许可证。

安装步骤：

#Elasticsearchのインストールパスに移動。下記はYumでインストール場合のパス
cd /share/usr/elasticsearch
#プラグインのインストール。まずはElasticsearchのプラグインをインストール
sudo bin/plugin install license -DproxyHost=172.21.1.141 -DproxyPort=12080
sudo bin/plugin install marvel-agent -DproxyHost=172.21.1.141 -DproxyPort=12080
#次に、Kibanaのプラグインをインストール
#まずはKibanaのインストールパスに移動する。下記はYumでインストールした場合のパス
cd /opt/kibana
wget  https://download.elastic.co/elasticsearch/marvel/marvel-latest.tar.gz
bin/kibana plugin -i marvel -u file:./marvel-latest.tar.gz

最后，重新启动Elasticsearch和Kibana。

rows_as_groups.png

感知

可以在浏览器中执行Elasticsearch命令。它带有命令自动补全和保存功能，非常方便在多次执行相同命令的情况下使用。

安装步骤：
按照以下命令执行。

$ wget https://download.elasticsearch.org/elastic/sense/sense-latest.tar.gz
$ sudo bin/kibana plugin -i sense -u file:./sense-latest.tar.gz

当您访问Kibana的URL+/app/sense时，将显示如下所示的屏幕。

rows_as_groups.png

词语分析器 — Kuromoji

用途：需要安装插件才能在Kibana上正确解析日语。

安装步骤：
执行以下命令

$ cd /usr/share/elasticsearch
$ sudo bin/plugin install analysis-kuromoji

补充说明：应用程序启动和停止指令

如果通过Yum安装，可以使用Service命令来启动和停止应用程序，但如果通过解压缩ZIP文件来启动程序，则在稍微停止时会比较麻烦。如下所示，需要找到PID并终止该进程。

弹性搜索

実行コマンド起動$ELASTIC_HOME/bin/elasticsearch &停止ps -ef （縦棒※） grep elasticで見つけたPID を kill -9 する

请运行 ps -ef | grep elastic 以获取正确的输出。

Kibana 可视化工具

実行コマンド起動$KIBANA_HOME/bin/kibana &停止ps -ef (縦棒） grep kibana で見つけたPID を kill -9 する

继续进行架构创建和数据注册篇。

✖
广告
将在 10 秒后关闭
bannerAds