在linux系統中，有多種方法可以監控hadoop集群的運行狀態。以下是一些常用的工具和方法：
1. Hadoop自帶命令行工具
Hadoop自帶了一些命令行工具，可以用來監控集群的狀態。
-
jps (Java Virtual Machine Process Status Tool):
jps
這個命令會列出所有正在運行的Java進程，包括Hadoop的NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager等。
-
hdfs dfsadmin -report:
hdfs dfsadmin -report
這個命令會顯示HDFS的詳細狀態報告，包括集群的總容量、已使用空間、剩余空間以及各個DataNode的狀態。
-
yarn node -list:
yarn node -list
這個命令會列出YARN集群中所有NodeManager的狀態。
2. Hadoop Web ui
Hadoop的各個組件都有自己的Web界面，可以通過瀏覽器訪問這些界面來監控集群狀態。
-
NameNode Web UI: 默認端口是50070（Hadoop 2.x）或9870（Hadoop 3.x）。
http://<namenode-host>:50070/
-
ResourceManager Web UI: 默認端口是8088。
http://<resourcemanager-host>:8088/
-
DataNode Web UI: 默認端口是50075（Hadoop 2.x）或50010（Hadoop 3.x）。
http://<datanode-host>:50075/
3. 第三方監控工具
有許多第三方工具可以用來監控Hadoop集群，例如：
-
Ganglia: 一個開源的分布式監控系統，可以監控集群中的各個節點和應用程序。
-
prometheus + grafana: Prometheus是一個開源的監控系統和時間序列數據庫，Grafana是一個開源的分析和監控平臺。兩者結合可以提供強大的監控和可視化功能。
-
elk Stack (elasticsearch, Logstash, Kibana): Elasticsearch用于存儲日志數據，Logstash用于收集和處理日志，Kibana用于可視化日志數據。
4. 自定義腳本
你也可以編寫自定義腳本來監控Hadoop集群的狀態。例如，使用cURL命令獲取Web UI的數據，然后解析這些數據并生成報告。
#!/bin/bash # 獲取NameNode狀態 namenode_status=$(curl -s http://<namenode-host>:50070/dfshealth.html | grep "Healthy") echo "NameNode Status: <span>$namenode_status"</span> # 獲取ResourceManager狀態 resourcemanager_status=$(curl -s http://<resourcemanager-host>:8088/cluster | grep "State") echo "ResourceManager State: <span>$resourcemanager_status"</span>
5. 使用Hadoop的Metrics系統
Hadoop有一個內置的Metrics系統，可以收集和報告各種運行時指標。你可以配置Hadoop將這些指標發送到外部監控系統，如Graphite、InfluxDB等。
總結
監控Hadoop集群的狀態可以通過多種方式實現，包括使用Hadoop自帶的命令行工具、Web UI、第三方監控工具以及自定義腳本。選擇哪種方法取決于你的具體需求和環境。
