回顾2015年Cloudera Manager的情况

这是Cloudera Manager Advent Calendar 2015的第14天。

Cloudera Manager(CM)的最新版本是在12月发布的5.5.1。据统计,2015年一共有22次更新发布(包括错误修复发布)。其中,包含新功能的小型更新版本只有5.4和5.5两次。也就是说,剩下的20次发布都是关于错误修复的。

在本篇文章中,我想介绍一下在5.4和5.5版本中新增的新功能。

参考文献:Cloudera Manager 5的新特性
链接:http://www.cloudera.com/content/www/en-us/documentation/enterprise/latest/topics/cm_rn_new_changed_features.html

Cloudera 管理器 5.4

增加支持的操作系统

新增了RHEL 6.6和CentOS 6.6。

CDH版本的安装限制

如果使用CM来安装CDH,CDH的次版本号必须小于或等于CM的次版本号。例如,CM 5.4.x支持的CDH版本是CDH 4.0.0 – 4.x.x、CDH 5.0.0 – 5.4.x,不支持5.5系列。从CM 5.4开始,进行了改进,以防止安装不受支持的旧版本CDH。

alt

参考:CDH 和 Cloudera Manager 的产品兼容性矩阵
http://www.cloudera.com/content/www/zh-cn/documentation/enterprise/latest/topics/pcm_cdh_cm.html

角色分配更改向导

在NameNode HA配置中,增加了一个用于更改已分配给现有NameNode和JournalNode等主机的向导。

参考:移动NameNode角色
http://www.cloudera.com/content/www/en-us/documentation/enterprise/latest/topics/admin_nn_migrate_roles.html

参考文献:移动NameNode角色的指南
http://www.cloudera.com/content/www/en-us/documentation/enterprise/latest/topics/admin_nn_migrate_roles.html

DataNode的热插拔支持功能

在CDH 5.4版本中,通过HDFS-1362 – 为DataNode提供卷管理功能,已经添加了DataNode的热插拔功能。这意味着在替换硬盘时不需要对DataNode进行退役。只需替换硬盘后执行”更新数据目录”操作,工作就完成了。

alt

参考: 对DataNodes执行磁盘热插拔操作
http://www.cloudera.com/content/www/zh-cn/documentation/enterprise/latest/topics/admin_dn_swap.html

機密資料遮蔽功能的輔助

我们提供了一个可以轻松进行Hadoop集群日志文件、Hive/Impala查询中任何机密数据掩码的用户界面。

alt
alt

参考文献:关于Hadoop处理敏感数据的脱敏技术
链接:http://qiita.com/d1ce_/items/fa5640403844b608c03d

集群配置差异显示功能

CM可以管理多个集群,并且现在可以列出集群之间的配置差异。当然,您也可以直接进行更改。

alt

参考:利用Cloudera Manager管理和设置多个集群之间的差异
http://qiita.com/d1ce_/items/b62928e1c38f26e8bab4

Cloudera 管理器 5.5

添加支持的操作系统

RHEL/CentOS 6.6、6.7、7.1以及Oracle Enterprise Linux 7.1已被新增。

添加支持数据库

在后端使用的RDBMS中,新增了MariaDB 5.5、Oracle 12c和PostgreSQL 9.4。

升级向导的重试功能

如果使用CM,CDH的升级也可以自动化。然而,在过去,如果在步骤进行中遇到一次失败,就需要手动执行剩下的步骤。在CM 5.5中增加的重试功能可以使从失败的步骤重新运行成为可能。

参考:重新运行Cloudera Manager升级向导
您可以参考以下链接了解如何重新运行Cloudera Manager升级向导:
http://www.cloudera.com/content/www/zh-cn/documentation/enterprise/latest/topics/cm_ag_rerun_upgrade_wiz.html

警告抑制功能

CM会定期检查进程是否健康以及当前设置是否合理。如果检查出问题,会显示警告,但是有些问题可能是基于环境或运营上的原因不需要处理的。这样的消息可以通过抑制(Suppress)来让它们以后不再显示。当然,也可以恢复原状(Unsuppress)。

alt

参考:禁止健康检测/取消禁止健康检测
请参阅:http://www.cloudera.com/content/www/en-us/documentation/enterprise/latest/topics/cm_dg_health.html

加强对卡夫卡的支持

主要添加了以下功能

alt

最终

这只是其中一部分,但我试着介绍了一些较易理解的新功能。相信2016年会有更多改进,让使用更加便捷。让我们期待吧。

广告
将在 10 秒后关闭
bannerAds