Elasticsearch和Kibana安装备忘录

2 年 ago
新, 韵
2 minutes

经过

    • 24万行のCSV fileが手元にあり、Excelやgoogleスプレッドシートでは処理できないので、どうしようか検討した

 

    nonエンジニアの人にも見てもらうので、可能な限り、GUIで直感的に使えるようにしたい。

政策。

TreasureDataのwebサービス使うと、CSV fileのimportとSQL文を使った必要なdataのselectまで30分以内でできた。でも、SQL文が必須になる。
ElasticSerachとKibanaを使うと、かっちょいいGUIで操作ができるみたい。これでいこう。

环境

    Ubuntu14.04

弹性搜索2.2

    1. 下載zip文件，請訪問https://www.elastic.co/downloads/elasticsearch

使用unzip進行解壓縮

使用bin/elasticsearch -d以後台模式啟動

使用curl -X GET localhost:9200進行操作驗證

Kibana 4.4 – Kibana 四点四

    1. 下载压缩包

 

    1. https://www.elastic.co/downloads/kibana

使用tar xvfz命令解压

使用bin/kibana命令执行

用Embulk将CSV（TSV）文件导入

下载Embulk二进制文件

$ sudo wget http://dl.embulk.org/embulk-latest.jar -O /usr/local/bin/embulk
$ sudo chmod +x /usr/local/bin/embulk

安装 Elasticsearch 插件。

$ embulk gem install embulk-output-elasticsearch

加载一个CSV文件

    1. 在中文中，将以下内容进行重新表述，并只提供一个选项：

使用embulk命令生成./mydata的模板。
./mydata的名称和位置可以任意选择。

将csv文件保存在.mydata/csv子文件夹中。
我将tsv文件压缩（gz）后保存。

编辑./mydata/seed.yml文件。

in:
  type: file
  path_prefix: "/path/to/file/file-prefix."
out:
  type: elasticsearch
  index: embulk
  index_type: embulk
  nodes:
    - host: localhost
    1. 使用中文来转述上述内容，仅提供一种选项:

执行命令”embulk guess ./mydata/seed.yml -o config.yml”

执行命令”embulk preview config.yml”

执行命令”embulk run config.yml”

请注意，执行这些命令时需要确保ElasticSearch已经启动。

访问 Kibana

http://x.x.x.x:5601でアクセスすると、下記のようなSetteingsタブが表示されます。よく分からなかったのですが、下記のような感じで、ワイルドカードにして、先にすすめます。

kibana.png

Discoverタブで、検索窓で直感的に検索が可能です。(詳細な使い方はこれから)

kibana2.png

Visualizeタブでグラフを作成し、Dashboardタブで並べることで下記のような画面が作れます。

kibana3.png

其他

我想要以CSV格式下载仪表板的搜索结果。

    • 現在のバージョンのkibanaでは、dashboardの検索結果をcsvでDownloadできません。githubのissueには登録されていますが、まだ未対応です。

こちらで紹介されている、Chromeのaddonを使う事で、csv downloadができます。

使用daemon启动

    • ElasticSearchは結局bin/elasticsearch -dにしました。

Fluentd、ElasticSearch、Kibana4によるログ分析環境の構築

kibanaは下記を参考にしました。

https://www.elastic.co/guide/en/elasticsearch/reference/current/setup.html

我想使用管理员界面。

    • Marvel pluginをinstall

http://morizyun.github.io/blog/elasticsearch-kibana-setup-mac/?utm_content=buffer7dfbc&utm_medium=social&utm_source=facebook.com&utm_campaign=buffer

总结

    • ずっと気になっていたElasticSearch+Kibanaを触ることができました。

 

    Kibanaで可視化できる内容もだいたいわかりました。もう少し面白い見せ方を探っていきたいと思います。
✖
广告
将在 10 秒后关闭
bannerAds