python實現多進程主要依靠multiprocessing模塊，其基本流程包括：1. 使用process類創建進程并指定任務函數；2. 調用start()方法啟動進程；3. 通過join()方法等待進程結束。例如代碼展示了創建3個進程并并發執行worker函數的過程。進程間共享數據可通過value、Array、queue、pipe或manager實現，其中value和array適用于簡單數值或數組的共享，queue和pipe用于消息傳遞，manager適合復雜對象如list或dict的共享。為避免數據競爭，可使用lock保證臨界區互斥訪問，示例中多個進程通過鎖安全地修改共享計數器。多進程與多線程的區別在于：進程擁有獨立內存空間，適合cpu密集型任務；線程共享內存空間，適合i/o密集型任務。對于大量進程管理，推薦使用進程池pool，它能自動分配任務并控制并發數量，示例中通過pool.map()高效處理了10個任務。
多進程，說白了，就是讓你的python程序能同時干好幾件事。共享數據，則是讓這些“分身”能互相交流，協作完成任務。
解決方案
Python實現多進程，主要靠multiprocessing這個模塊。它提供了創建和管理進程的各種工具。基本流程是：
- 創建進程： 使用Process類，傳入一個函數作為進程要執行的任務。
- 啟動進程： 調用進程對象的start()方法。
- 等待進程結束： 調用進程對象的join()方法，這會阻塞主進程，直到子進程執行完畢。
舉個例子：
立即學習“Python免費學習筆記（深入）”；
import multiprocessing import time def worker(num): print(f"進程 {num} 啟動") time.sleep(2) # 模擬耗時操作 print(f"進程 {num} 結束") if __name__ == '__main__': processes = [] for i in range(3): p = multiprocessing.Process(target=worker, args=(i,)) processes.append(p) p.start() for p in processes: p.join() print("所有進程執行完畢")
這個例子創建了3個進程，每個進程都執行worker函數，打印啟動和結束信息，并模擬一個耗時操作。
多進程之間共享數據，稍微復雜點。因為每個進程都有自己獨立的內存空間，直接訪問共享變量是不行的。multiprocessing模塊提供了幾種方式來解決這個問題：
- Value和Array： 用于在進程之間共享簡單的數值和數組。它們實際上是在共享內存中創建的，所以多個進程可以同時讀寫。
- Queue： 用于在進程之間傳遞消息。一個進程可以將數據放入隊列，另一個進程從隊列中取出數據。
- Pipe： 類似于Queue，但通常用于兩個進程之間的單向通信。
- Manager： 提供更高級的共享對象，例如list、dict等。它實際上啟動了一個服務器進程，負責管理這些共享對象，其他進程通過代理訪問。
選擇哪種方式，取決于你的具體需求。如果只是共享簡單的數值或數組，Value和Array效率最高。如果需要傳遞復雜的數據結構，或者進行更復雜的進程間通信，Queue、Pipe或Manager更合適。
如何避免多進程數據競爭？
數據競爭，指的是多個進程同時訪問和修改共享數據，導致結果不確定。避免數據競爭，最常用的方法是使用鎖(Lock)。
multiprocessing.Lock提供了一個互斥鎖，可以保證同一時刻只有一個進程可以訪問臨界區（即訪問共享數據的代碼）。
import multiprocessing import time def worker(lock, counter): lock.acquire() # 獲取鎖 try: # 臨界區：訪問共享數據 counter.value += 1 print(f"進程 {multiprocessing.current_process().name} 增加計數器到 {counter.value}") time.sleep(0.1) # 模擬耗時操作 finally: lock.release() # 釋放鎖 if __name__ == '__main__': lock = multiprocessing.Lock() counter = multiprocessing.Value('i', 0) # 'i' 表示整數類型 processes = [] for i in range(5): p = multiprocessing.Process(target=worker, args=(lock, counter), name=f"Process-{i}") processes.append(p) p.start() for p in processes: p.join() print(f"最終計數器值：{counter.value}")
這個例子中，多個進程同時增加一個共享的計數器。使用Lock保證了每次只有一個進程可以訪問和修改計數器，避免了數據競爭。
多進程和多線程有什么區別？我應該選擇哪個？
多進程和多線程都是實現并發的手段，但它們有本質的區別：
- 進程： 擁有獨立的內存空間，進程之間的切換開銷較大。
- 線程： 共享進程的內存空間，線程之間的切換開銷較小。
由于Python的全局解釋器鎖（GIL）的限制，多線程在CPU密集型任務上并不能真正實現并行，反而可能因為線程切換的開銷而降低性能。
因此，選擇多進程還是多線程，取決于你的任務類型：
- CPU密集型任務： 比如計算、圖像處理等，應該選擇多進程，利用多核CPU的并行能力。
- I/O密集型任務： 比如網絡請求、文件讀寫等，可以選擇多線程或異步IO，利用等待I/O的時間執行其他任務。
當然，具體情況還需要根據實際測試來確定。
如何優雅地管理大量進程？進程池是個好選擇嗎？
當需要創建大量進程時，手動創建和管理進程會變得非常繁瑣。multiprocessing.Pool提供了一種更方便的方式來管理進程池。
進程池會自動創建和管理一組進程，并將任務分配給這些進程執行。你可以控制進程池的大小，避免創建過多的進程導致系統資源耗盡。
import multiprocessing import time def worker(num): print(f"進程 {num} 啟動") time.sleep(1) return num * num if __name__ == '__main__': with multiprocessing.Pool(processes=4) as pool: results = pool.map(worker, range(10)) # 將 worker 函數應用于 range(10) 的每個元素 print(f"結果：{results}")
這個例子創建了一個大小為4的進程池，并將worker函數應用于range(10)的每個元素。pool.map()函數會將任務分配給進程池中的進程并行執行，并將結果收集到一個列表中返回。
使用進程池，可以大大簡化多進程編程，提高代碼的可讀性和可維護性。
