想用 Java 操作 hdfs 不難，熟悉 hadoop api 和文件操作邏輯即可。1. 環(huán)境配置方面需引入 hadoop 依賴，如使用 maven 添加 hadoop-client 依賴，版本與集群一致，并確保能連接 hadoop 集群。2. 初始化 Filesystem 時創(chuàng)建 configuration 對象并設置 fs.defaultfs，連接目標 hdfs，必要時配置 kerberos 認證和用戶信息。3. 常見操作包括上傳 copyfromlocalfile、下載 copytolocalfile 和列出目錄 liststatus，用于數(shù)據(jù)遷移等任務。4. 注意事項包括權限處理，可在代碼中指定用戶或運行參數(shù)，同時做好異常捕獲以應對路徑不存在、文件已存在等情況。掌握這些關鍵點后，java 操作 hdfs 就變得簡單了。
想用 Java 操作 HDFS？其實不難，只要熟悉 Hadoop 的 API 和基本的文件操作邏輯，就能輕松上手。下面我會從環(huán)境準備、核心代碼結構、常見操作幾個方面講清楚怎么用 Java 來讀寫 HDFS 文件。
1. 環(huán)境配置：Hadoop依賴不能少
在開始寫代碼之前，你得確保項目里引入了 Hadoop 的相關依賴。如果你用 Maven，可以在 pom.xml 中加一段：
<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>3.3.6</version> </dependency>
版本號可以根據(jù)你的 Hadoop 集群版本來調整。除了 Maven，你也可以手動下載 jar 包并加入項目構建路徑中。
立即學習“Java免費學習筆記（深入）”；
另外，開發(fā)環(huán)境中最好能連接到一個實際運行的 Hadoop 集群（本地單機版也行），否則測試的時候可能會遇到連接不上 Namenode 的問題。
2. 初始化 FileSystem：獲取HDFS操作句柄
Java 操作 HDFS 主要是通過 org.apache.hadoop.fs.FileSystem 這個類來完成的。你需要先創(chuàng)建一個配置對象，并連接到目標 HDFS 集群：
Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://localhost:9000"); FileSystem fs = FileSystem.get(conf);
這段代碼的意思是告訴程序，默認的文件系統(tǒng)是哪個 HDFS 地址。如果集群啟用了 Kerberos 認證，還需要額外配置用戶信息和安全憑據(jù)。
小提示：
- 如果你在本地調試但不想連接遠程集群，可以用 file:/// 協(xié)議來模擬本地文件系統(tǒng)。
- 使用完后記得調用 fs.close()，避免資源泄漏。
3. 常見操作：上傳、下載、查看目錄結構
掌握了 FileSystem 對象之后，就可以執(zhí)行常見的文件操作了。比如：
上傳文件到 HDFS
Path srcPath = new Path("/local/path/to/file.txt"); Path dstPath = new Path("/user/hadoop/file.txt"); fs.copyFromLocalFile(srcPath, dstPath);
下載文件到本地
Path hdfsPath = new Path("/user/hadoop/file.txt"); Path localPath = new Path("/local/path/to/file.txt"); fs.copyToLocalFile(hdfsPath, localPath);
列出某個目錄下的所有文件
Path dirPath = new Path("/user/hadoop/"); FileStatus[] statuses = fs.listStatus(dirPath); for (FileStatus status : statuses) { System.out.println(status.getPath().getName()); }
這些方法都很直接，適合做數(shù)據(jù)遷移、日志采集等任務。
4. 注意事項：權限和異常處理別忽略
使用 Java 操作 HDFS 時，權限問題經常容易被忽視。比如：
- 如果你是用 windows 本地跑代碼，Hadoop 可能會默認以當前用戶名去訪問 HDFS，如果沒有權限就會報錯。
- 解決辦法之一是在代碼中指定用戶：
System.setProperty("HADOOP_USER_NAME", "hadoop");
或者在運行時加上 -DHADOOP_USER_NAME=hadoop 參數(shù)。
此外，網絡問題、路徑不存在、文件已存在等情況也要做好異常捕獲：
try { // HDFS操作代碼 } catch (IOException e) { e.printStackTrace(); }
基本上就這些內容了。掌握這幾個關鍵點，就可以用 Java 輕松操作 HDFS 文件系統(tǒng)了。雖然看起來步驟不少，但很多都是模板化的代碼，真正寫起來也不復雜。
