在python中遍歷目錄并過濾特定文件類型可使用os.walk()結合字符串操作或fnmatch模塊，1.使用os.walk()遞歸遍歷目錄獲取文件名；2.通過endswith()或fnmatch.fnmatch()篩選目標文件類型；3.用os.path.join()組合完整路徑；4.處理權限錯誤可用try…except捕獲oserror；5.避免遍歷符號鏈接需設置followlinks=false；6.使用生成器實現延遲加載提升效率；7.通過concurrent.futures模塊結合多線程或多進程加速io密集型任務。
遍歷目錄下的文件，在python中主要通過os和os.path模塊，當然glob模塊在某些場景下也很方便。過濾特定文件類型，則需要結合字符串操作或者fnmatch模塊。
解決方案：
在Python中，遍歷目錄下的文件通常使用os.walk()函數。這個函數會遞歸地遍歷指定目錄及其子目錄，返回一個生成器，每次迭代都會產生一個三元組 (dirpath, dirnames, filenames)，分別表示當前目錄的路徑、當前目錄下的子目錄名列表和當前目錄下的文件名列表。
立即學習“Python免費學習筆記（深入）”；
以下是一個基本的示例：
import os def traverse_directory(directory): for dirpath, dirnames, filenames in os.walk(directory): print(f"當前目錄：{dirpath}") for filename in filenames: print(f" 文件：{filename}") print(f" 子目錄：{dirnames}") # 使用示例 traverse_directory("/path/to/your/directory")
要過濾特定文件類型，可以結合字符串的endswith()方法或者fnmatch模塊。例如，只遍歷.txt文件：
import os import fnmatch def traverse_and_filter(directory, pattern): for dirpath, dirnames, filenames in os.walk(directory): for filename in filenames: if filename.endswith(pattern): # 使用endswith print(f"找到 {pattern} 文件：{os.path.join(dirpath, filename)}") def traverse_and_filter_fnmatch(directory, pattern): for dirpath, dirnames, filenames in os.walk(directory): for filename in filenames: if fnmatch.fnmatch(filename, pattern): # 使用fnmatch print(f"找到匹配 {pattern} 的文件：{os.path.join(dirpath, filename)}") # 使用示例 traverse_and_filter("/path/to/your/directory", ".txt") traverse_and_filter_fnmatch("/path/to/your/directory", "*.log") # 匹配所有.log文件
os.path.join()函數用于將目錄路徑和文件名組合成完整的文件路徑，這是一個好習慣，可以避免手動拼接字符串時出現錯誤。
如何處理遍歷過程中遇到的權限錯誤？
在遍歷目錄時，可能會遇到權限不足的情況，導致os.walk()拋出OSError異常。為了程序的健壯性，可以使用try…except塊來捕獲并處理這些異常。
import os def traverse_directory_safe(directory): for dirpath, dirnames, filenames in os.walk(directory): try: print(f"當前目錄：{dirpath}") for filename in filenames: print(f" 文件：{filename}") print(f" 子目錄：{dirnames}") except OSError as e: print(f" 警告：無法訪問 {dirpath} - {e}") # 使用示例 traverse_directory_safe("/path/to/your/directory")
這樣，即使遇到無法訪問的目錄，程序也會繼續執行，而不會崩潰。記錄下出錯的目錄路徑，方便后續排查問題。
如何避免遍歷符號鏈接指向的目錄？
默認情況下，os.walk()會跟隨符號鏈接進入其指向的目錄。如果需要避免這種情況，可以將followlinks參數設置為False。
import os def traverse_without_links(directory): for dirpath, dirnames, filenames in os.walk(directory, followlinks=False): print(f"當前目錄：{dirpath}") for filename in filenames: print(f" 文件：{filename}") print(f" 子目錄：{dirnames}") # 使用示例 traverse_without_links("/path/to/your/directory")
設置followlinks=False后，os.walk()會將符號鏈接當作普通文件或目錄處理，而不會進入其指向的目錄進行遍歷。這在處理包含大量符號鏈接的目錄結構時非常有用，可以避免無限循環。
如何使用生成器提高遍歷效率，特別是處理大型目錄結構時？
os.walk() 本身就是一個生成器，但我們可以進一步利用生成器來延遲處理文件，從而提高效率。例如，我們可以創建一個生成器函數，只在需要時才返回文件路徑，而不是一次性加載所有文件路徑到內存中。
import os def file_path_generator(directory, pattern): for dirpath, dirnames, filenames in os.walk(directory): for filename in filenames: if filename.endswith(pattern): yield os.path.join(dirpath, filename) # 使用示例 file_generator = file_path_generator("/path/to/your/directory", ".txt") # 延遲處理文件 for file_path in file_generator: # 對 file_path 進行處理 print(f"處理文件：{file_path}")
這樣做的好處是，只有在迭代到某個文件時，才會計算其完整路徑，從而節省了內存和計算資源。特別是在處理大型目錄結構時，這種延遲處理的方式可以顯著提高程序的性能。可以把生成器想象成一個“按需供應”的工廠，只有你需要的時候，它才會生產。
如何使用多線程或多進程加速文件遍歷和處理？
對于IO密集型的任務，例如文件遍歷和處理，可以使用多線程或多進程來加速。concurrent.futures模塊提供了一個高級接口，可以方便地實現并發執行。
import os import concurrent.futures def process_file(file_path): # 對文件進行處理 print(f"處理文件：{file_path}") # 模擬耗時操作 import time time.sleep(0.1) # 模擬IO操作 def traverse_and_process_parallel(directory, pattern, num_workers=4): with concurrent.futures.ThreadPoolExecutor(max_workers=num_workers) as executor: for dirpath, dirnames, filenames in os.walk(directory): for filename in filenames: if filename.endswith(pattern): file_path = os.path.join(dirpath, filename) executor.submit(process_file, file_path) # 使用示例 traverse_and_process_parallel("/path/to/your/directory", ".txt", num_workers=8)
在這個示例中，ThreadPoolExecutor創建了一個線程池，用于并發執行process_file函數。每個符合條件的文件都會被提交到線程池中進行處理。通過調整num_workers參數，可以控制并發執行的線程數量。對于CPU密集型的任務，可以考慮使用ProcessPoolExecutor來代替ThreadPoolExecutor，利用多進程來提高性能。需要注意的是，多線程和多進程都會帶來額外的開銷，例如線程/進程的創建和切換，以及數據同步等。因此，需要根據實際情況進行權衡，選擇合適的并發策略。
