python中使用Logging模塊記錄日志的核心在于配置logger、handler、formatter和Filter。1. 首先導入logging模塊并進行基礎或精細配置；2. 使用basicconfig設置基本日志級別和輸出方式；3. 創建logger對象并設置日志級別；4. 創建handler指定日志輸出目標，如filehandler寫入文件；5. 使用formatter定義日志格式，包括時間、名稱、級別等信息；6. 將handler添加到logger以生效配置。日志級別從低到高為debug、info、warning、Error、critical，應根據開發或生產環境及問題嚴重性選擇合適級別。此外，可通過logging.config模塊從配置文件或字典加載高級配置，實現多handler、formatter等復雜設置。在多線程/多進程環境下，可使用queuehandler與queuelistener確保日志安全寫入。自定義日志格式可通過修改formatter的格式字符串，加入進程id、線程id等信息。
python中實現日志記錄，核心在于使用logging模塊，通過配置不同的處理器、格式器和日志級別，可以靈活地控制日志的輸出方式和內容。它不僅能幫助開發者追蹤程序運行狀態，還能在出現問題時提供關鍵的調試信息。
解決方案
Python的logging模塊提供了一套強大的日志記錄工具。首先，你需要導入logging模塊。最簡單的使用方式是直接調用logging.basicConfig()進行基本配置，例如設置日志級別。
立即學習“Python免費學習筆記（深入）”；
import logging logging.basicConfig(level=logging.INFO) logging.info("This is an info message") logging.warning("This is a warning message")
這段代碼會將INFO級別及以上的日志信息輸出到控制臺。但實際應用中，更推薦使用更精細的配置方式，例如自定義日志格式、輸出到文件等。
一個更完整的例子：
import logging # 創建 logger logger = logging.getLogger(__name__) logger.setLevel(logging.DEBUG) # 設置總的日志級別 # 創建 handler，用于寫入日志文件 fh = logging.FileHandler('my_app.log') fh.setLevel(logging.DEBUG) # 設置handler的日志級別 # 創建 formatter，用于定義日志格式 formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s') fh.setFormatter(formatter) # 將handler添加到logger logger.addHandler(fh) # 使用 logger logger.debug('This is a debug message') logger.info('This is an info message') logger.warning('This is a warning message') logger.error('This is an error message') logger.critical('This is a critical message')
這段代碼創建了一個名為my_app.log的日志文件，并將DEBUG級別及以上的日志信息寫入該文件。同時，通過formatter自定義了日志的格式，包括時間、logger名稱、日志級別和消息內容。
如何配置logging模塊以滿足不同場景需求？
配置logging模塊的關鍵在于理解Logger、Handler、Formatter和Filter這幾個核心組件。Logger是日志系統的入口，負責接收日志消息并傳遞給相應的Handler。Handler決定了日志消息的輸出目的地，例如控制臺、文件、網絡等。Formatter定義了日志消息的格式。Filter則用于過濾日志消息，只有滿足特定條件的日志消息才會被處理。
不同的場景需要不同的配置。例如，對于開發環境，可以將日志輸出到控制臺，并設置較低的日志級別（如DEBUG），以便查看詳細的調試信息。對于生產環境，則應該將日志輸出到文件，并設置較高的日志級別（如INFO或WARNING），以減少日志量，避免影響系統性能。
此外，還可以根據不同的模塊或功能創建不同的Logger，并為每個Logger配置不同的Handler和Formatter，以實現更精細的日志管理。例如，可以將數據庫相關的日志輸出到單獨的文件，并將網絡相關的日志輸出到另一個文件。
日志級別DEBUG、INFO、WARNING、ERROR、CRITICAL分別代表什么？如何選擇合適的日志級別？
日志級別用于區分不同類型的日志消息，并控制日志的輸出量。logging模塊提供了以下幾個常用的日志級別：
- DEBUG: 最詳細的日志級別，通常用于調試代碼，記錄詳細的程序運行狀態。
- INFO: 用于記錄程序運行的一般信息，例如啟動、停止、配置加載等。
- WARNING: 用于提示潛在的問題或異常情況，但程序仍然可以正常運行。
- ERROR: 用于記錄錯誤信息，表示程序出現了錯誤，但可能可以恢復。
- CRITICAL: 最嚴重的日志級別，用于記錄嚴重錯誤，表示程序可能無法繼續運行。
選擇合適的日志級別取決于具體的應用場景。在開發階段，通常會將日志級別設置為DEBUG，以便查看詳細的調試信息。在生產環境中，則應該根據實際情況選擇合適的日志級別。一般來說，對于需要關注的重要信息，可以選擇INFO級別；對于潛在的問題或異常情況，可以選擇WARNING級別；對于錯誤信息，可以選擇ERROR級別；對于嚴重錯誤，可以選擇CRITICAL級別。
此外，還可以根據不同的模塊或功能設置不同的日志級別。例如，可以將數據庫相關的日志級別設置為DEBUG，以便查看詳細的數據庫操作信息；而將網絡相關的日志級別設置為INFO，只記錄重要的網絡事件。
如何使用logging.config模塊進行更高級的日志配置？
logging.config模塊提供了一種更高級的日志配置方式，可以通過配置文件或字典來配置日志系統。這種方式可以避免在代碼中硬編碼大量的配置信息，使代碼更簡潔、易于維護。
例如，可以使用logging.config.fileConfig()函數從配置文件中加載日志配置。
import logging.config logging.config.fileConfig('logging.conf') logger = logging.getLogger('my_logger') logger.debug('This is a debug message')
其中，logging.conf是一個配置文件，包含了日志系統的各種配置信息，例如Logger、Handler、Formatter等。
也可以使用logging.config.dictConfig()函數從字典中加載日志配置。
import logging.config config = { 'version': 1, 'formatters': { 'standard': { 'format': '%(asctime)s - %(name)s - %(levelname)s - %(message)s' }, }, 'handlers': { 'default': { 'level':'DEBUG', 'formatter': 'standard', 'class':'logging.StreamHandler', }, }, 'loggers': { 'my_logger': { 'handlers': ['default'], 'level': 'DEBUG', 'propagate': True } } } logging.config.dictConfig(config) logger = logging.getLogger('my_logger') logger.debug('This is a debug message')
這種方式更加靈活，可以在代碼中動態地修改日志配置。dictConfig配置項很多，需要仔細閱讀官方文檔才能靈活運用。
使用logging.config模塊可以實現更復雜的日志配置，例如配置多個Handler、使用不同的Formatter、配置Filter等。
如何在多線程或多進程環境中使用logging模塊？
在多線程或多進程環境中，使用logging模塊需要注意線程安全和進程安全問題。由于多個線程或進程可能同時訪問同一個日志文件，因此需要采取一些措施來避免競爭條件。
對于多線程環境，logging模塊本身是線程安全的，可以直接使用。但是，如果需要自定義Handler或Formatter，則需要確保它們也是線程安全的。
對于多進程環境，由于進程之間不能共享內存，因此不能直接使用同一個日志文件。一種常用的解決方案是使用logging.handlers.QueueHandler和logging.handlers.QueueListener將日志消息發送到一個隊列中，然后由一個單獨的進程從隊列中讀取日志消息并寫入日志文件。
import logging import logging.handlers import multiprocessing import queue def worker_process(log_queue): qh = logging.handlers.QueueHandler(log_queue) logger = logging.getLogger() logger.addHandler(qh) logger.setLevel(logging.INFO) logger.info('Worker process started') def listener_process(log_queue, log_file): ql = logging.handlers.QueueListener(log_queue, logging.FileHandler(log_file)) ql.start() ql.join() if __name__ == '__main__': log_queue = queue.Queue(-1) listener = multiprocessing.Process(target=listener_process, args=(log_queue, 'my_app.log')) listener.start() worker1 = multiprocessing.Process(target=worker_process, args=(log_queue,)) worker2 = multiprocessing.Process(target=worker_process, args=(log_queue,)) worker1.start() worker2.start() worker1.join() worker2.join() log_queue.put(None) # Signal the listener to stop listener.join()
這段代碼創建了一個隊列log_queue，并將所有進程的日志消息都發送到該隊列中。然后，由一個單獨的進程listener_process從隊列中讀取日志消息，并將它們寫入my_app.log文件中。 這種方式可以確保日志消息的順序和完整性，避免競爭條件。
另一種解決方案是使用logging.handlers.RotatingFileHandler或logging.handlers.TimedRotatingFileHandler，它們可以自動地輪轉日志文件，避免單個日志文件過大。每個進程可以寫入不同的日志文件，或者寫入同一個日志文件，但使用不同的文件名。
如何自定義日志格式，例如添加進程ID、線程ID等信息？
可以通過自定義Formatter來實現自定義日志格式。Formatter類接受一個格式字符串作為參數，該格式字符串定義了日志消息的格式。
logging模塊提供了一些預定義的格式化占位符，例如：
- %(asctime)s: 日志消息的時間
- %(name)s: logger的名稱
- %(levelname)s: 日志級別
- %(message)s: 日志消息
- %(process)d: 進程ID
- %(Thread)d: 線程ID
可以在格式字符串中使用這些占位符來添加自定義的信息。例如，以下代碼定義了一個包含進程ID和線程ID的日志格式：
import logging formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(process)d - %(thread)d - %(message)s') # ... (handler and logger configuration)
此外，還可以通過繼承Formatter類并重寫format()方法來實現更復雜的自定義格式。例如，可以根據日志級別添加不同的顏色，或者根據不同的模塊添加不同的前綴。
總結
Python的logging模塊提供了強大的日志記錄功能，通過靈活的配置，可以滿足各種應用場景的需求。理解Logger、Handler、Formatter和Filter這幾個核心組件，并根據實際情況選擇合適的日志級別和配置方式，可以幫助開發者更好地追蹤程序運行狀態，并在出現問題時提供關鍵的調試信息。同時，需要注意在多線程或多進程環境中使用logging模塊的線程安全和進程安全問題，并采取相應的措施來避免競爭條件。
