Hadoopの疑似分散モードクラスターをインストールする方法は?

Hadoopの擬似分散クラスターは、1台のマシン上で複数のマシンをシミュレートしたHadoopクラスター環境であり、開発やテストに使用できます。以下はHadoop擬似分散クラスターのインストール手順です:

  1. Hadoopをダウンロードして解凍してください。まず、Hadoop公式サイトから最新バージョンのHadoop圧縮ファイルをダウンロードし、指定されたディレクトリに解凍します。
  2. Hadoopの環境変数を設定する
    以下の設定を.bashrcまたは.bash_profileファイルに追加してください。
export HADOOP_HOME=/path/to/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
  1. Hadoopクラスタを設定する
    Hadoopのconfディレクトリに移動し、core-site.xml、hdfs-site.xml、mapred-site.xmlの設定ファイルを編集します。
  1. core-site.xmlファイル:
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>
  1. hdfs-site.xmlファイル:
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>
  1. mapred-site.xmlファイル:
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
  1. HDFSをフォーマットします
    次のコマンドを実行してHDFSを初期化します:
hadoop namenode -format
  1. Hadoopクラスターを起動します。
    以下のコマンドを実行して、Hadoopクラスターを起動します:
start-dfs.sh
start-yarn.sh
  1. Hadoopクラスタの確認
    HadoopのWebインターフェースにブラウザからアクセスすると、Hadoopクラスタの状態や実行状況を確認できます。デフォルトアドレスは:http://localhost:50070/

上記の手順を経て、Hadoopの疑似分散クラスターを成功裝備して設定することができます。この環境では、Hadoopプログラムの開発やテストが可能です。

コメントを残す 0

Your email address will not be published. Required fields are marked *


广告
広告は10秒後に閉じます。
bannerAds