CentOS HDFS高可用性方案

在centos上實現hdfs高可用性（high availability, ha）主要涉及配置主備namenode、利用zookeeper進行狀態監控和故障切換，以及配置journalnode來共享編輯日志以實現數據同步。以下是詳細的步驟和配置說明：

架構概述

• Active NameNode：處理所有客戶端請求。
• Standby NameNode：作為Active NameNode的備份，與其保持狀態同步。
• ZooKeeper：監控NameNode狀態并協調故障切換。
• JournalNode：存儲NameNode的編輯日志（edits log），用于數據同步。

配置步驟

1. 安裝和配置ZooKeeper

   • 下載并解壓ZooKeeper：

       wget https://downloads.apache.org/zookeeper/zookeeper-3.8.0/apache-zookeeper-3.8.0-bin.tar.gz   tar -xzf apache-zookeeper-3.8.0-bin.tar.gz   cd apache-zookeeper-3.8.0

   • 配置ZooKeeper：編輯 conf/zoo.cfg 文件，設置數據目錄和客戶端連接端口：

       dataDir /var/lib/zookeeper   clientPort 2181

   • 在每個NameNode節點上創建 myid 文件：

       echo 1 > /var/lib/zookeeper/myid

   • 啟動ZooKeeper服務：

       ./bin/zkServer.sh start

2. 配置hadoop

   • 修改 hdfs-site.xml 文件：

       <configuration><property><name>dfs.nameservices</name><value>mycluster</value></property><property><name>dfs.ha.namenodes.mycluster</name><value>nn1,nn2</value></property><property><name>dfs.namenode.rpc-address.mycluster.nn1</name><value>namenode1:8020</value></property><property><name>dfs.namenode.rpc-address.mycluster.nn2</name><value>namenode2:8020</value></property><property><name>dfs.namenode.http-address.mycluster.nn1</name><value>namenode1:50070</value></property><property><name>dfs.namenode.http-address.mycluster.nn2</name><value>namenode2:50070</value></property><property><name>dfs.namenode.shared.edits.dir</name><value>qjournal://journalnode1:8485;journalnode2:8485;journalnode3:8485/mycluster</value></property><property><name>dfs.client.failover.proxy.provider.mycluster</name><value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value></property><property><name>dfs.ha.fencing.methods</name><value>sshfence</value></property><property><name>dfs.ha.fencing.ssh.private-key-files</name><value>/root/.ssh/id_rsa</value></property></configuration>

   • 修改 core-site.xml 文件：

       <configuration><property><name>fs.defaultFS</name><value>hdfs://mycluster</value></property></configuration>

3. 格式化和啟動NameNode

   • 在Active NameNode上格式化NameNode：

       hdfs namenode -format

   • 啟動NameNode：

       sbin/hadoop-daemon.sh start namenode

   • 將Active NameNode的元數據復制到Standby NameNode：

       hdfs namenode -bootstrapStandby

   • 啟動Standby NameNode：

       sbin/hadoop-daemon.sh start namenode

4. 啟動JournalNode

   • 在每個節點上啟動JournalNode進程：

       sbin/hadoop-daemon.sh start journalnode

5. 驗證高可用性

   • 使用瀏覽器訪問 https://www.php.cn/link/5b38a90395f6a90a89aed7aac61eb657 查看NameNode狀態。
   • 模擬NameNode故障，觀察Standby NameNode是否能自動切換為Active狀態。

通過上述步驟，您可以在centos上配置一個高可用的HDFS集群，確保在發生故障時能夠快速切換并繼續提供服務。