回顾2015年Cloudera Manager的情况
这是Cloudera Manager Advent Calendar 2015的第14天。
Cloudera Manager(CM)的最新版本是在12月发布的5.5.1。据统计,2015年一共有22次更新发布(包括错误修复发布)。其中,包含新功能的小型更新版本只有5.4和5.5两次。也就是说,剩下的20次发布都是关于错误修复的。
在本篇文章中,我想介绍一下在5.4和5.5版本中新增的新功能。
参考文献:Cloudera Manager 5的新特性
链接:http://www.cloudera.com/content/www/en-us/documentation/enterprise/latest/topics/cm_rn_new_changed_features.html
Cloudera 管理器 5.4
增加支持的操作系统
新增了RHEL 6.6和CentOS 6.6。
CDH版本的安装限制
如果使用CM来安装CDH,CDH的次版本号必须小于或等于CM的次版本号。例如,CM 5.4.x支持的CDH版本是CDH 4.0.0 – 4.x.x、CDH 5.0.0 – 5.4.x,不支持5.5系列。从CM 5.4开始,进行了改进,以防止安装不受支持的旧版本CDH。
参考:CDH 和 Cloudera Manager 的产品兼容性矩阵
http://www.cloudera.com/content/www/zh-cn/documentation/enterprise/latest/topics/pcm_cdh_cm.html
角色分配更改向导
在NameNode HA配置中,增加了一个用于更改已分配给现有NameNode和JournalNode等主机的向导。
参考:移动NameNode角色
http://www.cloudera.com/content/www/en-us/documentation/enterprise/latest/topics/admin_nn_migrate_roles.html
参考文献:移动NameNode角色的指南
http://www.cloudera.com/content/www/en-us/documentation/enterprise/latest/topics/admin_nn_migrate_roles.html
DataNode的热插拔支持功能
在CDH 5.4版本中,通过HDFS-1362 – 为DataNode提供卷管理功能,已经添加了DataNode的热插拔功能。这意味着在替换硬盘时不需要对DataNode进行退役。只需替换硬盘后执行”更新数据目录”操作,工作就完成了。
参考: 对DataNodes执行磁盘热插拔操作
http://www.cloudera.com/content/www/zh-cn/documentation/enterprise/latest/topics/admin_dn_swap.html
機密資料遮蔽功能的輔助
我们提供了一个可以轻松进行Hadoop集群日志文件、Hive/Impala查询中任何机密数据掩码的用户界面。
参考文献:关于Hadoop处理敏感数据的脱敏技术
链接:http://qiita.com/d1ce_/items/fa5640403844b608c03d
集群配置差异显示功能
CM可以管理多个集群,并且现在可以列出集群之间的配置差异。当然,您也可以直接进行更改。
参考:利用Cloudera Manager管理和设置多个集群之间的差异
http://qiita.com/d1ce_/items/b62928e1c38f26e8bab4
Cloudera 管理器 5.5
添加支持的操作系统
RHEL/CentOS 6.6、6.7、7.1以及Oracle Enterprise Linux 7.1已被新增。
添加支持数据库
在后端使用的RDBMS中,新增了MariaDB 5.5、Oracle 12c和PostgreSQL 9.4。
升级向导的重试功能
如果使用CM,CDH的升级也可以自动化。然而,在过去,如果在步骤进行中遇到一次失败,就需要手动执行剩下的步骤。在CM 5.5中增加的重试功能可以使从失败的步骤重新运行成为可能。
参考:重新运行Cloudera Manager升级向导
您可以参考以下链接了解如何重新运行Cloudera Manager升级向导:
http://www.cloudera.com/content/www/zh-cn/documentation/enterprise/latest/topics/cm_ag_rerun_upgrade_wiz.html
警告抑制功能
CM会定期检查进程是否健康以及当前设置是否合理。如果检查出问题,会显示警告,但是有些问题可能是基于环境或运营上的原因不需要处理的。这样的消息可以通过抑制(Suppress)来让它们以后不再显示。当然,也可以恢复原状(Unsuppress)。
参考:禁止健康检测/取消禁止健康检测
请参阅:http://www.cloudera.com/content/www/en-us/documentation/enterprise/latest/topics/cm_dg_health.html
加强对卡夫卡的支持
主要添加了以下功能
最终
这只是其中一部分,但我试着介绍了一些较易理解的新功能。相信2016年会有更多改进,让使用更加便捷。让我们期待吧。