python中實現多進程主要依賴multiprocessing模塊，該模塊提供process類、pool類等來創建和管理進程。1.使用process類可創建獨立進程，通過target參數指定執行函數；2.使用pool類可創建進程池，自動分配任務并控制并發數量；3.進程間通信可通過queue、pipe、value、Array等機制實現；4.選擇進程數量應根據cpu核心數合理設定，避免系統開銷過大；5.多進程適用于cpu密集型任務和需要資源隔離的場景，而多線程更適合io密集型任務；6.調試多進程程序時建議使用日志記錄或pdb調試器，同時注意處理僵尸進程問題。所有進程完成后主程序會輸出“所有進程完成”信息。
python中實現多進程，主要依賴multiprocessing模塊。它允許你創建和管理多個獨立的Python解釋器進程，從而真正實現并行執行，特別是在CPU密集型任務中能顯著提升性能。多進程和多線程的主要區別在于資源隔離和并發模型。多進程擁有獨立的內存空間，而多線程共享同一進程的內存空間。
multiprocessing模塊提供了Process類、Pool類等多種方式來創建和管理進程。
解決方案
立即學習“Python免費學習筆記（深入）”；
-
使用Process類創建進程：
這是最基本的創建進程的方式。你需要創建一個繼承自Process的類，并重寫run方法，或者直接使用Process類，并傳入一個可調用對象作為target參數。
import multiprocessing import time def worker(num): """工作進程函數""" print(f"進程 {num} 啟動") time.sleep(2) # 模擬耗時操作 print(f"進程 {num} 結束") if __name__ == '__main__': processes = [] for i in range(3): p = multiprocessing.Process(target=worker, args=(i,)) processes.append(p) p.start() for p in processes: p.join() # 等待所有進程結束 print("所有進程完成")這段代碼創建了3個獨立的進程，每個進程執行worker函數。p.join()確保主進程等待所有子進程完成后再退出。
-
使用Pool類創建進程池：
進程池可以更方便地管理大量進程，并控制并發數量。Pool類會自動分配任務給空閑進程。
import multiprocessing import time def worker(num): """工作進程函數""" print(f"進程 {num} 啟動") time.sleep(2) # 模擬耗時操作 print(f"進程 {num} 結束") return num * num if __name__ == '__main__': with multiprocessing.Pool(processes=4) as pool: # 創建一個包含4個進程的進程池 results = pool.map(worker, range(5)) # 將worker函數應用于range(5)中的每個元素 # pool.close() # 關閉進程池，不再接受新的任務 # pool.join() # 等待所有進程完成 print("所有進程完成") print("結果:", results) # 輸出每個任務的結果這里創建了一個包含4個進程的進程池，pool.map將worker函數應用于range(5)的每個元素，并將結果收集到results列表中。使用with語句可以自動管理進程池的生命周期，避免資源泄漏。
-
進程間通信：
由于多進程擁有獨立的內存空間，進程間通信需要使用特定的機制，例如Queue、Pipe、Value、Array等。
import multiprocessing def sender(queue): """發送數據到隊列""" print("發送進程啟動") queue.put("Hello from process!") print("發送進程結束") def receiver(queue): """從隊列接收數據""" print("接收進程啟動") message = queue.get() print(f"接收到消息: {message}") print("接收進程結束") if __name__ == '__main__': queue = multiprocessing.Queue() p1 = multiprocessing.Process(target=sender, args=(queue,)) p2 = multiprocessing.Process(target=receiver, args=(queue,)) p1.start() p2.start() p1.join() p2.join() print("所有進程完成")這個例子使用Queue在兩個進程之間傳遞消息。
多進程與多線程的適用場景
- CPU密集型任務： 多進程更適合CPU密集型任務，因為可以利用多核CPU并行計算，避免GIL（全局解釋器鎖）的限制。
- IO密集型任務： 多線程在IO密集型任務中表現更好，因為線程切換的開銷比進程切換小，可以更高效地利用CPU時間。
- 需要資源隔離的任務： 多進程由于擁有獨立的內存空間，更適合需要資源隔離的任務，可以避免線程間的資源競爭和數據污染。
如何選擇進程數量
進程數量并非越多越好。過多的進程會增加系統開銷，導致性能下降。通常，進程數量設置為CPU核心數或核心數的2倍是一個不錯的選擇。你可以通過multiprocessing.cpu_count()獲取CPU核心數。
多進程調試的技巧
多進程調試比單進程調試更復雜。可以使用pdb調試器，或者使用日志記錄來跟蹤進程的執行情況。另外，確保在調試過程中正確處理進程間通信，避免死鎖或數據丟失。
進程間共享數據的方式有哪些
除了Queue和Pipe，還可以使用Value和Array在進程間共享數據。Value用于共享單個變量，Array用于共享數組。這些共享對象需要使用鎖機制來避免并發訪問沖突。
多進程出現僵尸進程如何處理
僵尸進程是指已經完成執行，但其父進程沒有調用wait或waitpid來回收其資源的進程。長時間積累僵尸進程會導致系統資源耗盡。可以使用signal模塊注冊信號處理函數來處理僵尸進程。例如，捕獲SIGCHLD信號，并在信號處理函數中調用waitpid來回收子進程資源。
