sql執行日志記錄的關鍵在于結合數據庫原生日志和應用層記錄，以實現全面監控與定制化需求。啟用數據庫自帶的慢查詢日志、審計功能（如mysql的slow_query_log、sql server audit、postgresql的log_statement）可記錄sql語句、執行時間等信息，優點是記錄全面且性能影響小，但配置復雜；在應用層使用aop或攔截器（如mybatis interceptor）可靈活記錄關鍵業務邏輯相關的sql，但需修改代碼并可能影響性能；使用數據庫代理（如proxysql）可透明攔截sql流量，無需改代碼但增加系統復雜性。日志級別選擇上，debug適用于開發環境，info用于生產監控，warn記錄慢sql，Error記錄失敗語句；敏感數據應通過脫敏處理保護隱私；日志存儲可采用文件、數據庫或elk stack進行高效分析；配合prometheus、grafana等工具對sql執行次數、時間、失敗率等指標進行實時監控，有助于及時發現問題并優化性能。
執行日志記錄，關鍵在于捕獲sql語句的執行情況，包括執行時間、影響行數、執行狀態等，以便于問題排查、性能優化和安全審計。
解決方案
SQL執行日志記錄的核心在于利用數據庫提供的日志功能，以及在應用層進行輔助記錄。
-
數據庫原生日志： 啟用數據庫自身的日志功能是最基礎的方式。例如，mysql的慢查詢日志可以記錄執行時間超過設定閾值的SQL語句；SQL Server的審計功能可以記錄各種數據庫操作。這些日志通常包含SQL語句、執行時間、客戶端信息等。
- MySQL: 啟用slow_query_log和設置long_query_time。
- SQL Server: 使用SQL Server Audit。
- PostgreSQL: 配置log_statement和log_min_duration_statement。
數據庫原生日志的優點是記錄全面、性能影響較小，缺點是配置復雜、不易定制。
-
應用層攔截與記錄： 在應用層，可以通過AOP（面向切面編程）或者攔截器的方式，在SQL執行前后記錄相關信息。這種方式的優點是靈活性高，可以自定義記錄內容和格式，缺點是需要修改應用程序代碼，并且可能對性能產生一定影響。
例如，在Java應用中，可以使用MyBatis的攔截器（Interceptor）來記錄SQL語句和執行時間。
@Intercepts({@Signature( type= Executor.class, method = "update", args = {MappedStatement.class,Object.class})}) public class SQLLogInterceptor implements Interceptor { @Override public Object intercept(Invocation invocation) throws Throwable { MappedStatement mappedStatement = (MappedStatement) invocation.getArgs()[0]; Object parameter = invocation.getArgs()[1]; String sqlId = mappedStatement.getId(); BoundSql boundSql = mappedStatement.getBoundSql(parameter); Configuration configuration = mappedStatement.getConfiguration(); String sql = getSql(configuration, boundSql, sqlId); long start = System.currentTimeMillis(); Object result = invocation.proceed(); long end = System.currentTimeMillis(); System.out.println("SQL: " + sql); System.out.println("Time: " + (end - start) + "ms"); return result; } // ... (getSql method implementation) } -
數據庫代理層： 使用數據庫代理（例如ProxySQL）可以攔截所有SQL流量，并記錄執行日志。這種方式的優點是對應用程序透明，無需修改代碼，缺點是引入了額外的組件，增加了系統的復雜性。
-
結合使用： 最佳實踐通常是結合使用數據庫原生日志和應用層記錄。數據庫原生日志用于記錄所有SQL語句，應用層記錄用于記錄關鍵業務邏輯相關的SQL語句。
如何選擇合適的日志記錄級別？
日志級別（例如DEBUG, INFO, WARN, ERROR）的選擇直接影響日志的詳細程度和數量。選擇合適的日志級別需要權衡信息量和性能開銷。
- DEBUG: 記錄所有SQL語句和相關信息，適用于開發和調試環境。
- INFO: 記錄關鍵業務邏輯相關的SQL語句，適用于生產環境，用于監控和審計。
- WARN: 記錄執行時間超過閾值的SQL語句，用于性能優化。
- ERROR: 記錄執行失敗的SQL語句，用于錯誤排查。
在生產環境中，通常選擇INFO或WARN級別，避免產生過多的日志數據。
如何處理敏感數據？
SQL語句中可能包含敏感數據，例如用戶密碼、身份證號碼等。在記錄日志時，需要對這些敏感數據進行脫敏處理，例如使用哈希算法進行加密，或者使用星號（*）進行替換。
String sql = boundSql.getSql().replaceAll("(?i)(password)s*=s*'([^']*)'", "password = '******'");
如何存儲和分析日志？
日志數據量通常很大，需要選擇合適的存儲和分析方案。
- 文件存儲： 將日志數據存儲在文件中，可以使用Logrotate等工具進行切割和歸檔。
- 數據庫存儲： 將日志數據存儲在數據庫中，可以使用SQL語句進行查詢和分析。
- ELK Stack： 使用elasticsearch、Logstash和Kibana（ELK Stack）進行日志收集、存儲和分析。
選擇合適的存儲和分析方案需要根據實際情況進行評估。ELK Stack 適合大規模日志數據的處理和分析。
如何監控日志？
監控日志可以及時發現問題，例如SQL執行失敗、性能瓶頸等。可以使用監控工具（例如Prometheus、Grafana）對日志數據進行監控和告警。
監控的關鍵指標包括：
- SQL執行次數
- SQL執行時間
- SQL執行失敗次數
通過監控這些指標，可以及時發現并解決問題。
總結
SQL執行日志記錄是一個重要的環節，可以幫助我們進行問題排查、性能優化和安全審計。選擇合適的日志記錄策略需要根據實際情況進行評估和權衡。
