在VirtualBox中搭建Elastic Stack所需的环境配置
※ Elastic Stack 5.0现已发布稳定版本。如果您可以在Virtual Box中启动Ubuntu,请移步此处。
环境搭建
仅需要一种选择:在Windows10 64位操作系统上安装VirtualBox5.1.6和Ubuntu16.04并进行验证。
如果出现“在BIOS中禁用了VT-x(VERR_VMX_MSR_VMXON_DISABLED)”的提示,则可能需要进行BIOS设置。(例如)请按照以下步骤进行操作:
– 在BIOS设置界面中将[Intel Virtualization Technology]设置为[Enable](参考链接: http://did2memo.net/2015/07/10/virtualbox-64-bit-os/ )
下载VirtualBox
https://www.virtualbox.org/wiki/Downloads にアクセスし、VirtualBox 5.1.6 for Windows hosts [x86/amd64]のリンクをクリック
下载Ubuntu
https://www.ubuntulinux.jp/News/ubuntu1604-ja-remix にアクセスし、[ubuntu-ja-16.04-desktop-amd64.iso(ISOイメージ)]のリンクをクリック
请参考下面的指南进行安装。
- http://qiita.com/ykawakami/items/4bae371932110b2e25e3
根据需要进行设置…(仅限必需项)
VirtualBox側の設定
[一般]->[高度]->[クリップボードの共有]を有効にする※
[システム]->[マザーボード]->[メインメモリー]を増やす※
[ネットワーク]->[アダプター 1]->[高度]->[ポートフォワーディング]->[+]->[ホストポート]と[ゲストポート]のみ設定。(Kibana:5601, Elasticsearch:9200, kafka_input:9092, kafka_output:2181)※
Ubuntu側の設定
プロキシ
安装JDK(之后操作需要使用VirtualBox)
$ sudo apt-get update
$ sudo apt-get install default-jdk
$ javac -version
javac 1.8.0_91
安装 Logstash 2.4.0
https://www.elastic.co/downloads/logstash にアクセスし、Logstash 2.4.0の[ZIP]のリンクをクリック
ZIPを解凍(どこでも)
安装 Elasticsearch 5.0.0-beta1
https://www.elastic.co/downloads/elasticsearch にアクセスし、Elasticsearch 5.0.0-beta1の[ZIP]のリンクをクリック
ZIPを解凍(どこでも)
安装Kibana 5.0.0-beta1。
https://www.elastic.co/downloads/kibana にアクセスし、Kibana 5.0.0-beta1の[ZIP]のリンクをクリック
ZIPを解凍(どこでも)
Elastic Stack(包括Logstash、Elasticsearch和Kibana等Elastic公司产品)的启动方式。
必需的配置文件
Logstash的配置文件
这是一个假设将本地文件加载并获取JSON数据的配置文件,然后发送到Elasticsearch。
input {
file {
path =>"${INPUT_FILE_PATH_DIR}/file.txt"
start_position => "end"
type => "somethingDataType"
}
}
filter{
json{
source => "message"
}
}
output {
stdout {
codec => json
}
}
output {
elasticsearch {
hosts => ["localhost:9200"]
}
}
由于通过命令行参数传递,位置和名称可以任意选择。
Elasticsearch和Kibana的配置文件
{
"logstash-2016.09.30" : {
"mappings" : {
"something_Application" : {
"_all" : {
"enabled" : true,
"omit_norms" : true
},
"properties" : {
"name": {
"type": "keyword"
},
"personal_Data": {
"properties": {
"age": {
"type": "long"
},
"height": {
"type": "float"
}
}
}
}
}
}
}
}
如何启动Elasticsearch
${ZIPの解凍場所}/elasticsearch-5.0.0-beta1/bin/elasticsearch
如果可以访问 localhost:9200,则表示成功。
Kibana的启动方式
${ZIPの解凍場所}/kibana-5.0.0-beta1-linux-x86_64/bin/kibana
如果能够访问到localhost:5601,则表示成功。
* 如果Elasticsearch没有启动,将持续发出警告。
如何启动Logstash
${ZIPの解凍場所}/logstash-2.4.0/bin/logstash -f (任意)logstash.conf
我会实际发送数据进行确认。设置文件的位置和名称是可任意的。
※如果Elasticsearch没有启动,将会出现以下错误。(然后启动Elasticsearch即可使其正常运行)
接続を拒否されました {:class=>"Manticore::SocketException", :level=>:error}
确认动作
这次将向文件${INPUT_FILE_PATH_DIR}/file.txt中追加JSON数据。(可以使用编辑器)
echo -e \\n{\"a\":\"b\"} >> ${INPUT_FILE_PATH_DIR}/file.txt
如果有先前的数据,请先换行再追加(上面的例子是追加的情况)
你觉得怎么样?