如何在python中實現高效緩存？1.使用functools.lru_cache裝飾器，通過lru算法管理緩存，避免重復計算；2.合理設置maxsize參數，根據函數計算成本、調用頻率和內存限制調整大小，并可通過cache_info()監控命中率優化配置；3.處理不可哈希參數時，可轉換為元組或使用cachetools庫自定義鍵生成方式；4.多線程環境下需確保線程安全，可通過加鎖或使用cachetools的線程安全緩存實現。
python中實現高效緩存，核心在于記住那些計算成本高昂的結果，下次再需要時直接返回，避免重復計算。functools.lru_cache 是一個非常便捷的工具，它通過 Least Recently Used (LRU) 算法來管理緩存，自動丟棄不常用的結果，保證緩存不會無限增長。
解決方案：
functools.lru_cache 的基本用法非常簡單，只需要在你的函數上添加一個裝飾器即可。
立即學習“Python免費學習筆記（深入）”；
from functools import lru_cache @lru_cache(maxsize=128) def fibonacci(n): if n < 2: return n return fibonacci(n-1) + fibonacci(n-2) print(fibonacci(10)) # 第一次調用，會計算 print(fibonacci(10)) # 第二次調用，直接從緩存讀取
maxsize 參數控制緩存的大小。設置為 None 表示緩存無大小限制，但這可能會導致內存溢出，需要謹慎使用。
如何根據實際應用場景調整lru_cache的maxsize？
maxsize 的選擇取決于幾個關鍵因素：函數的計算成本、調用頻率以及可用內存。如果函數計算量非常大，并且經常被調用，那么較大的 maxsize 可能更有利，因為它能存儲更多的結果，減少重復計算。但是，如果 maxsize 過大，可能會占用過多內存，反而影響性能。
一種方法是先用較小的 maxsize 進行測試，然后逐步增加，觀察性能提升是否明顯。可以使用 Python 的 timeit 模塊來測量函數的執行時間，從而評估不同 maxsize 下的性能。
另一種更精細的方法是監控緩存的命中率。lru_cache 裝飾器提供了一個 cache_info() 方法，可以返回緩存的狀態信息，包括命中次數、未命中次數和緩存大小。
from functools import lru_cache @lru_cache(maxsize=32) def my_function(arg): # 模擬耗時操作 result = sum(i*i for i in range(arg)) return result for i in range(40): my_function(i % 10) print(my_function.cache_info())
通過分析 cache_info() 的輸出，可以判斷緩存是否足夠大。如果命中率很高，說明緩存利用率高，可以考慮減小 maxsize 以節省內存。如果命中率很低，說明緩存太小，應該增加 maxsize。
lru_cache如何處理不可哈希的參數？
lru_cache 的工作原理是使用函數的參數作為鍵來存儲結果。因此，函數的參數必須是可哈希的。如果函數的參數包含不可哈希的對象（例如列表、字典等），lru_cache 會拋出 TypeError。
解決這個問題有幾種方法。
-
將不可哈希的參數轉換為可哈希的參數：例如，可以將列表轉換為元組。
from functools import lru_cache @lru_cache(maxsize=128) def my_function(data): # data 必須是可哈希的 return sum(data) data = [1, 2, 3] result = my_function(tuple(data)) # 將列表轉換為元組 print(result)
-
使用 cachetools 庫：cachetools 庫提供了更靈活的緩存實現，可以自定義鍵的生成方式。例如，可以使用 cachetools.LRUCache 類，并提供一個函數來將參數轉換為鍵。
import cachetools cache = cachetools.LRUCache(maxsize=128) def my_function(data): key = tuple(data) # 將列表轉換為元組作為鍵 if key in cache: return cache[key] else: result = sum(data) cache[key] = result return result data = [1, 2, 3] result = my_function(data) print(result)
-
自定義緩存實現：如果以上方法都不適用，可以自己實現一個緩存。例如，可以使用字典來存儲結果，并使用自定義的鍵生成方式。
cache = {} def my_function(data): key = tuple(data) # 將列表轉換為元組作為鍵 if key in cache: return cache[key] else: result = sum(data) cache[key] = result return result data = [1, 2, 3] result = my_function(data) print(result)
lru_cache在多線程環境下的使用注意事項？
lru_cache 本身并不是線程安全的。如果在多線程環境下使用 lru_cache，可能會出現競爭條件，導致緩存數據不一致或程序崩潰。
為了在多線程環境下安全地使用 lru_cache，需要采取一些同步措施。
-
使用鎖：可以使用 threading.Lock 來保護緩存的訪問。
import threading from functools import lru_cache lock = threading.Lock() @lru_cache(maxsize=128) def my_function(arg): with lock: # 模擬耗時操作 result = sum(i*i for i in range(arg)) return result
使用 with lock: 語句可以確保在同一時刻只有一個線程可以訪問緩存。
-
使用 cachetools 庫的線程安全緩存：cachetools 庫提供了一些線程安全的緩存實現，例如 cachetools.TTLCache 和 cachetools.LRUCache。這些緩存內部使用了鎖來保護數據，可以安全地在多線程環境中使用。
import cachetools import threading cache = cachetools.LRUCache(maxsize=128, lock=threading.Lock()) def my_function(arg): key = arg try: return cache[key] except KeyError: result = sum(i*i for i in range(arg)) cache[key] = result return result
在使用 cachetools 的線程安全緩存時，需要顯式地創建鎖對象，并將其傳遞給緩存的構造函數。
-
避免在緩存函數中進行寫操作：盡量避免在被 lru_cache 裝飾的函數中修改全局變量或共享狀態。如果必須進行寫操作，一定要使用鎖來保護。
總而言之，在多線程環境下使用 lru_cache 時，務必注意線程安全問題，采取適當的同步措施，以避免數據競爭和程序崩潰。選擇 cachetools 提供的線程安全緩存可能是更簡單可靠的方案。
