我参加了2020年7月2日举办的由AWS主办的Webinar，题为“不好意思！参加了 Amazon Elasticsearch Service 的浩大更新”，这是我的学习笔记。

亚马逊 ES（Elasticsearch Service）是什么？

据说Elasticsearch是一种基于Lucene基础的分布式多租户搜索引擎，并且专注于全文搜索。最近刚刚发布了一篇体验笔记。

以 Amazon ES（Elasticsearch Service）作为托管服务，提供 Elasticsearch 在 AWS 上的支持。然而，特别之处在于它使用了为企业定制的 Open Distro for Elasticsearch，而非原生的 Elasticsearch。

开放搜索的分布式版本是一个经过增强的具有企业级安全性、警报、SQL等功能的Elasticsearch，采用Apache 2.0许可证。

亚马逊西班牙最新更新说明 (40分钟)

以下是2020年以后的9项更新内容，它们在本次说明中被提及。

搜索和分析功能的增加

SQL Workbench / SQL CLI (6月10日)

クロスクラスター検索 (6月3日)
大規模ログ分析のための Ultrawarm ノード (5月5日)
カスタム辞書 (4月21日)

KNN: k-nearest neighbor (K近傍法) アルゴリズム (3月3日)

增加了与搜索和分析相关的功能

• 異常検知 (6月4日)

Amazon Kinesis Data Firehose の Amazon ES VPC ドメイン対応 (4月24日)

ISM: Index State Managemnt (3月3日)

Fine-grained access control (2月11日)

前提的了解

这些是关于2020年6月23日志村 誠先生在AWS Black Belt Online Seminar上讲解的「Amazon Elasticsearch Service」回的相关内容，通过参考这次讲解的资料可能更容易理解。资料在这里。

可以这样说，本次说明中的更新内容都包含在上述的Black Belt中。但由于本次说明更专注于更新内容，所以说明更加详细，还有演示，给人一种更易理解的印象。所以当本Webinar公开后，建议连续观看上述内容。

关于Ultrawarm的内容

这次更新的内容主要来自于基本的开放分发源，但Ultrawarm 看起来是 AWS 独有的功能。

据说，将实际数据部署到S3上并运行非常有成本优势。Elasticsearch通常通过复制来确保可用性，但通过利用本来就具有高可用性的S3，可以避免数据重复。

在S3上存储数据的情况下，我会想到Redshift Spectrum。如果在认证考试之类的场合中出现了”Amazon ES Spectrum”之类的选项，我可能会选错哈哈。

转移到Ultrawarm很容易，但是由于要进行force_merge，所以会涉及到处理成本，并且在迁移后数据将变为只读，这是需要注意的。虽然可以恢复到原始状态（即所谓的Hot状态），但是由于进行了force_merge，数据的后续更新成本会增加，所以不太推荐这样做。

使用Amazon ES来实现SIEM的方法（40分钟）

这是一个关于使用亚马逊ES（Elasticsearch Service）实现安全信息与事件管理（SIEM）的说明和演示。

SIEM（安全信息和事件管理）是一种解决方案，用于收集和集中管理与安全和网络相关的数据，并通过相关分析来支持威胁检测和事件响应。

提到网络安全，首先让人想到的是AWS WAF（Web应用程序防火墙）的防御功能，以及威胁检测服务Amazon GuardDuty。

本次说明的内容是关于利用亚马逊ES来判断和应对威胁检测中脅威的影响的”事件响应”。

为了进行事件响应，需要对更详细的日志进行分析，其中包括应用程序自身的日志，仅依靠AWS的标准服务无法满足需求，因此需要收集更多多样化的数据，并进行标准化（ETL：数据提取、转换、加载），然后在Elasticsearch中进行管理，并在Kibana等工具中进行可视化。

我感到了理解。

同样，在Kibana上展示了实际上多次登录失败的结果，这个演示非常清晰易懂。虽然由于时间关系操作速度很快，有些部分我还不太理解，我希望在Webinar的视频发布后再次放慢速度仔细观看并理解！

因此

虽然时间很短，但这是一段充实而紧凑的学习时光。这篇帖子是我总结的其中一小部分笔记。

由于AWS具有众多的服务并且更新速度很快，所以学习和保持技能是一项艰巨的任务。然而，在这些更新的会话中，如果我们能够理解每个更新的原因和好处，并且不断积累这些知识，那么理解将会更容易，也不容易忘记。

因为我仍在学习的过程中，所以还有很多要记住的事情，但是我希望能积极地学习下去。

再见！