尝试在VirtualBox中运行HDP
我在7月份加入了一家名为Hortonworks的Hadoop公司。
我之前的工作也涉及到了Hadoop,并且我还出版了一本关于HBase的入门书,但是并没有接触过HDP,由于Hortonworks支持的产品相当多,所以我打算在学习的过程中研究和运用它们,并将其发布。
所以,这次我们要尝试运行HDP。
顺便说一句,如果您与Hadoop有所接触,那么您可能对HDP这个缩写很熟悉。HDP 是 Hortonworks Data Platform 的缩写,是由Hortonworks提供的Hadoop发行版。其他的Hadoop发行版包括Cloudera提供的CDH以及IBM提供的IBM BigInsights for Apache Hadoop等。
请点击以下链接查看有关HDP的详细信息:
https://hortonworks.com/products/data-center/hdp/
此外,Hortonworks也提供了一个名为”Hortonworks Sandbox”的映像,可以轻松地在虚拟机或云上尝试HDP。这次我打算使用这个映像在VirtualBox上运行HDP。
VirtualBox可以从以下链接安装。
https://www.virtualbox.org/
下载HDP镜像。
首先,我们将下载HDP的映像。这次我们将下载HDP2.4的最新版本的映像,时间为2016年7月20日。
您可以从以下网址的“HDP® 2.4 on Hortonworks Sandbox”中的“下载VirtualBox”链接进行下载。
http://hortonworks.com/downloads/#data-platform
由于容量较大,所以需要相当长的时间。
启动HDP镜像
在VirtualBox中导入并启动下载的映像文件。
启动完成后,将显示以下画面。
如果按照指示,在浏览器中打开 http://127.0.0.1:8888/,会出现如下所示的界面。
在Ambari中显示了URL、用户名和密码。
此外,还显示了其它选项,点击”View Advanced Options”后会显示Atlas和Zeppelin等的URL。
当我轻轻地查看Ambari时,似乎已经预先安装了以下产品。
-
- HDFS
-
- MapReduce2
-
- YARN
-
- Tez
-
- Hive
-
- HBase
-
- Pig
-
- Sqoop
-
- Oozie
-
- Zookeeper
-
- Falcon
-
- Storm
-
- Flume
-
- Ambari Metrics
-
- Atlas
-
- Kafka
-
- Knox
-
- Ranger
-
- Slider
-
- Spark
- Zeppelin Notebook
总结
这次我使用了Hortonworks Sandbox,在VirtualBox上运行了HDP。特别是没有遇到什么困难,顺利地运行起来了。