Debian中Hadoop配置文件解析

在debian系統中，hadoop的核心配置文件位于/etc/hadoop/conf目錄下。 這些文件控制著Hadoop集群的各個方面，包括核心功能、hdfs、yarn和mapreduce。 下面我們逐一解析這些關鍵文件：

1. core-site.xml: 包含Hadoop的核心配置參數。 最重要的兩個參數是：

   • fs.defaultFS: 指定默認的文件系統URI，例如hdfs://localhost:9000。
   • hadoop.tmp.dir: 定義Hadoop的臨時目錄，例如/var/cache/hadoop/tmp。

2. hdfs-site.xml: 包含HDFS（Hadoop分布式文件系統）的配置信息。 關鍵參數包括：

   • dfs.replication: 設置文件的副本數量，默認為3。
   • dfs.namenode.name.dir: 指定NameNode存儲元數據的目錄，例如/var/lib/hadoop-hdfs/namenode。
   • dfs.datanode.data.dir: 指定DataNode存儲數據的目錄，例如/var/lib/hadoop-hdfs/datanode。
   • dfs.namenode.secondary.http-address: Secondary NameNode的HTTP訪問地址，例如localhost:50090。

3. yarn-site.xml: 包含YARN（Yet Another Resource Negotiator）的配置信息，負責資源管理和調度。 重要的配置項有：

   • yarn.resourcemanager.hostname: ResourceManager的主機名，例如localhost。
   • yarn.nodemanager.aux-services: NodeManager提供的輔助服務，例如mapreduce_shuffle。
   • yarn.nodemanager.resource.memory-mb: NodeManager分配給容器的最大內存，單位為MB，例如4096。

4. mapred-site.xml: 包含MapReduce框架的配置信息。 關鍵參數包括：

   • mapreduce.framework.name: 指定MapReduce的運行框架，通常為yarn。
   • mapreduce.jobhistory.address: JobHistoryServer的地址，例如localhost:10020。
   • mapreduce.jobhistory.webapp.address: JobHistoryServer的Web ui地址，例如localhost:19888。

5. slaves (或workers): 這個文件列出了集群中的所有DataNode和NodeManager節點，每個節點占據一行，例如：

    datanode1  datanode2  worker1  worker2

6. hadoop-env.sh: 包含Hadoop運行環境的配置，例如：

   • Java_HOME: Java的安裝路徑，例如/usr/lib/jvm/java-8-openjdk-amd64。
   • HADOOP_LOG_DIR: Hadoop日志的存放目錄，例如/var/log/hadoop-hdfs。

修改這些配置文件需要使用文本編輯器（例如nano或vim），修改后需要重啟Hadoop服務才能使更改生效。 請謹慎修改這些文件，錯誤的配置可能導致Hadoop集群無法正常工作。