Debian Hadoop集群擴容步驟

debian hadoop集群擴容是一個相對復雜的過程，涉及多個步驟。以下是詳細的擴容步驟：

環境配置

1. 關閉防火墻：

   systemctl stop firewalld systemctl disable firewalld 

2. 關閉SElinux：

   sed -i 's/enforcing/disabled/' /etc/selinux/config setenforce 0 

3. 配置主機名和IP映射關系：

   hostnamectl set-hostname hadoop102 hostnamectl set-hostname hadoop103 hostnamectl set-hostname hadoop104 cat >> /etc/hosts << EOF 192.168.52.15 hadoop102 192.168.52.16 hadoop103 192.168.52.17 hadoop104 EOF 

4. 配置ssh無密碼登錄：

   • 使用 ssh-keygen 生成公鑰與私鑰對。
   • 將本地密鑰拷貝到其他服務器。
   • 驗證是否配置免密登錄。

5. 配置時間同步服務：

   yum install chrony -y systemctl restart chronyd chronyc sources -v 

6. 安裝JDK：

   • 從oracle官方網站下載JDK。
   • 上傳JDK安裝包。
   • 解壓安裝包。
   • 配置環境變量。

Hadoop集群安裝

1. 下載Hadoop安裝包：

   wget http://archive.apache.org/dist/hadoop/common/1.2/hadoop-3.1.2.tar.gz 

2. 解壓Hadoop安裝包：

   tar -xzf hadoop-3.1.2.tar.gz -C /opt 

3. 修改Hadoop環境變量：

   • 新建 hadoop.sh 文件。
   • 添加Hadoop環境變量。
   • 刷新profile變量使配置生效。

擴容步驟

1. 格式化新盤：

   mkfs -t ext4 /dev/sdb 

2. 掛載新盤：

   • 使用 vi 或者 emcas 查看Hadoop集群的 {hadoop-home}/conf/hdfs-site.xml 文件，其中的 dfs.data.dir 屬性所設定的目錄。
   • 將格式化之后的設備掛載到相應的目錄下。

3. 修改 /etc/fstab 文件：

   /dev/device1 /dm1/hdfs/Data ext3 defaults 1 2 5 

4. 驗證擴容：

   • 在 {hadoop-home}/bin/hadoop 使用 dfs -report 命令查看新增的DFS容量。

請注意，以上步驟是基于搜索結果的概述，具體操作可能需要根據實際情況進行調整。在進行任何操作之前，請確保備份所有重要數據，并在測試環境中驗證步驟的正確性。