使用Elasticsearch以获得舒适的体验的方法

1 年 ago

清, 扬

1 minute

開始
导言
引言

大家好，你们在使用elasticsearch吗？
是的，elasticsearch是一个方便、万能且能够聚集大量数据的工具，让人感觉非常舒适。
虽然可能已经听说过多次，但我想今天在rgnet1开始使用的elasticsearch的调优方面与大家交流一下。

这次的设备/需求

最低限入れたいデータはsyslog/auditログ/apacheログ

安装/集群配置

按照官方文档安装elasticsearch和kibana。
这次我想启用一个名为2X-Pack的扩展功能，从版本6.3开始它是免费的。通过安装X-Pack，可以启用用户认证、SSL和其他各种功能。
有关集群的配置存储在/etc/elasticsearch/elasticsearch.yml中。我已按照以下方式进行了配置。

cluster.name: rgroot-es
node.name: es.sfc.wide.ad.jp
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
xpack.security.enabled: true
xpack.security.http.ssl.enabled: true
xpack.security.http.ssl.key: /etc/elasticsearch/letsencrypt/live/es.sfc.wide.ad.jp/privkey.pem
xpack.security.http.ssl.certificate: /etc/elasticsearch/letsencrypt/live/es.sfc.wide.ad.jp/fullchain.pem
bootstrap.memory_lock: true
network.host: ::0
http.port: 9200
transport.host: ::0
transport.tcp.port: 9300
discovery.type: single-node

这次我们添加了X-Pack的SSL配置。
此外，Elasticsearch有生产模式和开发模式，如果network.host设置不是localhost，则会以生产模式运行。因此，如果在生产环境中使用，请务必进行配置。

elasticsearch在Java中运行。因此，不要忘记进行JVM的配置更改。配置文件位于/etc/elasticsearch/jvm.options。默认情况下，Xms和Xmx设置为1G，如果有多余的内存，请确保将其提高。

还有一些关于swap设置的详细推荐设置，因此请查阅系统设置的官方文档。

请参考关于安全设置的官方网站，本次不对RBAC等进行说明。

指数调优

我认为只需按照以上步骤进行，即可启动具备调优功能的elasticsearch集群。

然而，如果继续使用这样的设置，索引健康状态将变为黄色，进入警告状态。这是因为集群操作是基于这一前提条件的，默认的分片数量（冗余数）为3。尽管分片数量已经为3，但由于节点数只有1，无法进行冗余操作，导致触发警报。

更改默认的分片数量。

由于这次的数据并不是非常重要，为了避免冗余，我们将默认的分片数设为1吧（如果有重要的数据，请勿使用此选项）。

如果”acknowledged”标志为true，则已经进行了设置。
在这个例子中，我们将其配置为default名称，并设置其与匹配”*”索引（所有索引）相对应的shard:1/replica:0。
这个配置适用于index-template，并且需要注意的是，在单独创建索引时指定shard数量等参数时，将优先使用那些参数。

ILM的配置

Elasticsearch具有一个名为ILM (Index Lifecycle Policies) 的功能。该功能可以根据阶段对索引进行分类，从而实现节点分配和轮换的高效率操作。为了获得更详细的信息，请参考其他人的文章。

如果您使用的是Elastic的官方输入插件，例如Logstash和Beat，那么由于它们支持ILM（索引生命周期管理），您可以从Kibana的设置中进行各种更改。如果不支持ILM，您可以自己创建。

最后说明

这次大致总结了调整时的步骤。虽然在个别设置上有所省略（非常抱歉），但是由于elasticsearch的官方文档非常详细，所以请务必仔细阅读。
让我们一起搭建本地elasticsearch，享受愉悦的过程吧！

rgnet是由rg运营的研究室网络。政策。

開始 导言 引言