使用Cloudera Manager升级Hadoop集群
由于Cloudera Enterprise 5.8发布了，我试着将Cloudera Quickstart VM的Cloudera Manager和CDH进行升级。
环境
-
- Cloudera Quickstart VM 5.7の仮想マシン
-
- (http://www.cloudera.com/downloads/quickstart_vms/5-7.html)
- VMWare Player/Fusionの動いている環境
升级Cloudera Manager/CDH。
升级步骤已在文件中记录。本次升级几乎完全可以通过向导进行更新，但还是建议先阅读文档。
http://www.cloudera.com/documentation/enterprise/latest/topics/installation_upgrade.html#xd_583c10bfdbd326ba-7dae4aa6-147c30d0933–7f28
将Cloudera Manager升级到最新版本
请按照以下步骤进行升级：
http://www.cloudera.com/documentation/enterprise/latest/topics/cm_ag_upgrade_cm5.html
[cloudera@quickstart ~]$ sudo service cloudera-scm-server stop
Stopping cloudera-scm-server: [ OK ]
[cloudera@quickstart ~]$ sudo service cloudera-scm-server-db stop
cloudera-scm-server-db: unrecognized service
[cloudera@quickstart ~]$
- Cloudera Manager パッケージのアップグレード
接下来，使用yum命令升级软件包。无需更改yum仓库。
[cloudera@quickstart ~]$ cat /etc/yum.repos.d/cloudera-manager.repo
[cloudera-manager]
name=Cloudera Manager, Version 5
baseurl=http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5/
gpgkey=http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera
gpgcheck = 1
[cloudera@quickstart ~]$ sudo yum clean all
Loaded plugins: fastestmirror, security
Cleaning repos: base cloudera-cdh5 cloudera-gplextras5 cloudera-kafka
: cloudera-manager epel extras updates vmware-tools
Cleaning up Everything
Cleaning up list of fastest mirrors
[cloudera@quickstart ~]$ sudo yum upgrade cloudera-manager-server cloudera-manager-daemons cloudera-manager-agent
Loaded plugins: fastestmirror, security
Setting up Upgrade Process
Determining fastest mirrors
epel/metalink | 4.6 kB 00:00
* base: ftp.tsukuba.wide.ad.jp
* epel: ftp.riken.jp
* extras: ftp.tsukuba.wide.ad.jp
* updates: ftp.tsukuba.wide.ad.jp
base | 3.7 kB 00:00
base/primary_db | 4.7 MB 00:00
cloudera-cdh5 | 951 B 00:00
cloudera-cdh5/primary | 44 kB 00:00
cloudera-cdh5 146/146
cloudera-gplextras5 | 951 B 00:00
cloudera-gplextras5/primary | 2.4 kB 00:00
cloudera-gplextras5 9/9
cloudera-kafka | 951 B 00:00
cloudera-kafka/primary | 1.7 kB 00:00
cloudera-kafka 3/3
cloudera-manager | 951 B 00:00
cloudera-manager/primary | 4.3 kB 00:00
cloudera-manager 7/7
epel | 4.3 kB 00:00
epel/primary_db | 5.8 MB 00:01
extras | 3.4 kB 00:00
extras/primary_db | 37 kB 00:00
updates | 3.4 kB 00:00
updates/primary_db | 1.4 MB 00:00
vmware-tools | 951 B 00:00
vmware-tools/primary | 18 kB 00:00
vmware-tools 42/42
Resolving Dependencies
--> Running transaction check
---> Package cloudera-manager-agent.x86_64 0:5.7.0-1.cm570.p0.76.el6 will be updated
---> Package cloudera-manager-agent.x86_64 0:5.8.0-1.cm580.p0.42.el6 will be an update
base/filelists_db | 6.4 MB 00:01
cloudera-cdh5/filelists | 405 kB 00:00
cloudera-gplextras5/filelists | 5.6 kB 00:00
cloudera-kafka/filelists | 1.3 kB 00:00
cloudera-manager/filelists | 110 kB 00:00
epel/filelists_db | 8.0 MB 00:01
extras/filelists_db | 38 kB 00:00
updates/filelists_db | 1.1 MB 00:00
vmware-tools/filelists | 6.0 kB 00:00
---> Package cloudera-manager-daemons.x86_64 0:5.7.0-1.cm570.p0.76.el6 will be updated
---> Package cloudera-manager-daemons.x86_64 0:5.8.0-1.cm580.p0.42.el6 will be an update
---> Package cloudera-manager-server.x86_64 0:5.7.0-1.cm570.p0.76.el6 will be updated
---> Package cloudera-manager-server.x86_64 0:5.8.0-1.cm580.p0.42.el6 will be an update
--> Finished Dependency Resolution
Dependencies Resolved
================================================================================
Package Arch Version Repository Size
================================================================================
Updating:
cloudera-manager-agent x86_64 5.8.0-1.cm580.p0.42.el6 cloudera-manager 7.5 M
cloudera-manager-daemons x86_64 5.8.0-1.cm580.p0.42.el6 cloudera-manager 529 M
cloudera-manager-server x86_64 5.8.0-1.cm580.p0.42.el6 cloudera-manager 8.2 k
Transaction Summary
================================================================================
Upgrade 3 Package(s)
Total download size: 537 M
Is this ok [y/N]: y
Downloading Packages:
(1/3): cloudera-manager-agent-5.8.0-1.cm580.p0.42.el6.x8 | 7.5 MB 00:01
(2/3): cloudera-manager-daemons-5.8.0-1.cm580.p0.42.el6. | 529 MB 02:16
(3/3): cloudera-manager-server-5.8.0-1.cm580.p0.42.el6.x | 8.2 kB 00:00
--------------------------------------------------------------------------------
Total 3.9 MB/s | 537 MB 02:18
Running rpm_check_debug
Running Transaction Test
Transaction Test Succeeded
Running Transaction
Updating : cloudera-manager-daemons-5.8.0-1.cm580.p0.42.el6.x86_64 1/6
Updating : cloudera-manager-server-5.8.0-1.cm580.p0.42.el6.x86_64 2/6
Updating : cloudera-manager-agent-5.8.0-1.cm580.p0.42.el6.x86_64 3/6
Cleanup : cloudera-manager-agent-5.7.0-1.cm570.p0.76.el6.x86_64 4/6
Cleanup : cloudera-manager-server-5.7.0-1.cm570.p0.76.el6.x86_64 5/6
Cleanup : cloudera-manager-daemons-5.7.0-1.cm570.p0.76.el6.x86_64 6/6
Verifying : cloudera-manager-server-5.8.0-1.cm580.p0.42.el6.x86_64 1/6
Verifying : cloudera-manager-daemons-5.8.0-1.cm580.p0.42.el6.x86_64 2/6
Verifying : cloudera-manager-agent-5.8.0-1.cm580.p0.42.el6.x86_64 3/6
Verifying : cloudera-manager-server-5.7.0-1.cm570.p0.76.el6.x86_64 4/6
Verifying : cloudera-manager-agent-5.7.0-1.cm570.p0.76.el6.x86_64 5/6
Verifying : cloudera-manager-daemons-5.7.0-1.cm570.p0.76.el6.x86_64 6/6
Updated:
cloudera-manager-agent.x86_64 0:5.8.0-1.cm580.p0.42.el6
cloudera-manager-daemons.x86_64 0:5.8.0-1.cm580.p0.42.el6
cloudera-manager-server.x86_64 0:5.8.0-1.cm580.p0.42.el6
Complete!
[cloudera@quickstart ~]$
※Cloudera Manager的最新版本是5.8.1。
-
- インストールの確認
- パッケージが正しく更新されていることを確認します。5.8.0に更新されていますね。
[cloudera@quickstart ~]$ rpm -qa 'cloudera-manager-*'
cloudera-manager-daemons-5.8.0-1.cm580.p0.42.el6.x86_64
cloudera-manager-agent-5.8.0-1.cm580.p0.42.el6.x86_64
cloudera-manager-server-5.8.0-1.cm580.p0.42.el6.x86_64
[cloudera@quickstart ~]$
-
- Cloudera Manager Serverを開始
- Cloudera Manager Serverを開始します。
[cloudera@quickstart ~]$ sudo service cloudera-scm-server start
Starting cloudera-scm-server: [ OK ]
[cloudera@quickstart ~]$
由于Cloudera Manager已经升级到5.8版本，接下来将更新至CDH 5.8.0。
将CDH更新至最新版本
因为 Cloudear Manager 的升级已经完成，接下来我们要升级 CDH 到最新版本。目前版本为 5.7.0。
包裹的更新
使用Cloudera Manager进行CDH的管理，可以选择Parcel或者Package两种格式进行。由于本次环境是使用Parcel格式引入的CDH，所以只需要点击菜单中的图标即可开始。
在最初的状态下，没有显示最新的CDH 5.8.0版本。
按下设置按钮，将转到设置画面。
由于 Parcel 存储库指向 CDH 5.7.0，因此我们将其更改为 5.8.0。
在先前的屏幕上显示CDH5.8.0的parcel，然后进行下载。
下载完成后将其分发到每个节点（但由于本次只有一个节点，所以不会花费太多时间..）
一旦分发完毕，便可进行升级操作。
如果准备好了，就开始升级吧。
升级至 CDH 5.8.0
请确保仔细阅读文件（第二次）。
阅读文档后，请勾选复选框以继续。将自动进行软件检测。
接下来会检查主机是否存在问题。这次的环境没有任何问题。
这是选择升级的步骤。由于当前环境已经停止，我们完全重新启动了集群。
升级开始了。
作为管理员，最好先了解自己在做什么，但手动操作真的很辛苦呢。。。
升级已完成。
如果有不必要的服务在运行，请将其关闭。
总结
通过使用Cloudera Manager，我们能够相对容易地升级集群。虽然需要仔细阅读文档，但它很方便地帮助我们避免了手动操作导致的人为错误。（而且它还是免费的，支持日语界面，这真是太好了）
