使用Ambari对Storm集群进行监控
本帖作为Hortonworks Advent Calendar 2016的12/13(星期二)的帖子发布。
同时,它也是以下帖子的延续内容。
- AmbariによるStormクラスタのプロビジョニング
通过使用HDP(Hortonworks Data Platform)的组件之一,Apache Ambari,我们可以检查如何使用Ambari来监视由Ambari进行配置的Apache Storm集群。
虽然本次针对的是Storm,但是类似的步骤也适用于Hadoop/Spark/Kafka等其他组件。
简而言之
Ambari能够监控集群的部署,并且监控服务和主机。
不需要进行特别的设置。使用Ambari构建的主机将根据部署的组件自动配置监控内容。
本次将以构建包括Zookeeper和Storm的集群为例来进行解释。
监视内容
集群监控
通过单击标题菜单中的“仪表盘”,将显示有关整个群集的内容。
这里除了基本项,如内存、网络I/O、CPU等,还包括Storm集群,所以会有Supervisor的项目。
然而,这个界面没有太多特点,不太有趣味。
如果你提供了Hadoop集群,那么像以下页面显示的那样,面板上会显示更多的项。
现在展示的是“Metrics”的内容,下一步我们来查看一下“Heatmaps”选项卡中的内容。
尽管所有主机都处于绿色状态,但我们可以知道每台主机的磁盘使用量。
由于本次使用了5台主机,因此显示了5个块。
主机监控
点击标题菜单中的“Hosts”,选择主机名后,将会显示以下的屏幕。
关于一个主机,我们可以了解到详细的情况。
警报
点击标题菜单上的“警告”,可以显示一个页面,可以在该页面上以列表形式确认每个进程和资源的状态。
警報的内容可以通过电子邮件通知等方式进行设置。
对Storm服务进行监控。
然后,我们要确认一下Storm服务的状态。
从侧边菜单中选择“Storm”,您就可以看到概述的内容。
-
- 「Supervisors」が、”2/2″ となっており、2台のホストで動作していることが分かります。
- 現在は、何もTopologyをデプロイしていないため、「Free Slots」が “4/4(100% free)” と表示されています。
- 次に、1スロット分を利用する、SlidingWindowTopology をデプロイしてみます。
storm jar ./storm-starter-topologies-*.jar org.apache.storm.starter.SlidingWindowTopology slidingwindow
-
- 少し待つと、スロットが “3/4(75% free)” になりました。
- Excutors, tasks の数も増加していることが分かります。
- さらに、WordCountTopology をデプロイしてみます。
storm jar ./storm-starter-topologies-*.jar org.apache.storm.starter.WordCountTopology wordcount
- 少し待つと、スロットが “0/4(0% free)” になり、全スロットが動作する状況になりました。
请通过查看Storm UI等进行确认以获取更多详细信息。
您也可以点击页面顶部的“快速链接”打开Storm UI界面。
总结起来
虽然目前可以在Ambari中确认的指标只是基本项目,但是能够建立集群并立即确认此类信息非常方便。希望能够显示吞吐量等指标,但似乎需要进行定制。