Hadoopの疑似分散モードクラスターをインストールする方法は?
Hadoopの擬似分散クラスターは、1台のマシン上で複数のマシンをシミュレートしたHadoopクラスター環境であり、開発やテストに使用できます。以下はHadoop擬似分散クラスターのインストール手順です:
- Hadoopをダウンロードして解凍してください。まず、Hadoop公式サイトから最新バージョンのHadoop圧縮ファイルをダウンロードし、指定されたディレクトリに解凍します。
- Hadoopの環境変数を設定する
以下の設定を.bashrcまたは.bash_profileファイルに追加してください。
export HADOOP_HOME=/path/to/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
- Hadoopクラスタを設定する
Hadoopのconfディレクトリに移動し、core-site.xml、hdfs-site.xml、mapred-site.xmlの設定ファイルを編集します。
- core-site.xmlファイル:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
- hdfs-site.xmlファイル:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
- mapred-site.xmlファイル:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
- HDFSをフォーマットします
次のコマンドを実行してHDFSを初期化します:
hadoop namenode -format
- Hadoopクラスターを起動します。
以下のコマンドを実行して、Hadoopクラスターを起動します:
start-dfs.sh
start-yarn.sh
- Hadoopクラスタの確認
HadoopのWebインターフェースにブラウザからアクセスすると、Hadoopクラスタの状態や実行状況を確認できます。デフォルトアドレスは:http://localhost:50070/
上記の手順を経て、Hadoopの疑似分散クラスターを成功裝備して設定することができます。この環境では、Hadoopプログラムの開発やテストが可能です。