日志文件過大會占用磁盤空間，影響系統(tǒng)性能并可能導致服務崩潰。解決方法包括：1. 使用 golang 標準庫 log 結合 os 包實現(xiàn)按日期分割日志，但需手動壓縮和清理；2. 使用第三方庫 lumberjack 實現(xiàn)自動按大小或時間分割、保留備份、壓縮等功能；3. 結合 logrus 與 lumberjack 輸出結構化日志并管理日志文件；4. 利用系統(tǒng)工具 logrotate 配置日志分割和壓縮，無需修改代碼；5. 在 docker 中使用日志驅動如 json-file、syslog 或 fluentd 管理容器日志；6. 使用監(jiān)控工具、腳本定期檢查日志文件大小，防止磁盤空間耗盡。這些方法可有效管理日志，保持系統(tǒng)穩(wěn)定。
日志文件過大，會占用磁盤空間，影響系統(tǒng)性能，甚至導致服務崩潰。解決的關鍵在于日志分割（rotate）和壓縮，定期清理舊日志，保持系統(tǒng)穩(wěn)定。
日志分割與壓縮方案：
使用標準庫 log 實現(xiàn)簡單的日志分割
golang標準庫 log 功能有限，但可以結合 os 包實現(xiàn)簡單的按日期分割。
立即學習“go語言免費學習筆記（深入）”；
package main import ( "fmt" "log" "os" "time" ) func main() { now := time.Now() logFileName := fmt.Sprintf("app_%d-%02d-%02d.log", now.Year(), now.Month(), now.Day()) logFile, err := os.OpenFile(logFileName, os.O_CREATE|os.O_WRONLY|os.O_APPEND, 0666) if err != nil { log.Fatalf("Failed to open log file: %v", err) } defer logFile.Close() log.SetOutput(logFile) log.SetFlags(log.Ldate | log.Ltime | log.Lshortfile) log.Println("This is a log message.") }
這個方法每天生成一個新日志文件，但沒有自動壓縮和清理功能。需要手動或通過腳本實現(xiàn)。
使用第三方庫 lumberjack 進行更高級的日志管理
lumberjack 是一個流行的 Golang 日志切割庫，提供更豐富的功能，例如：
- 按文件大小分割
- 按時間分割
- 保留舊日志數(shù)量限制
- 壓縮舊日志
package main import ( "log" "gopkg.in/natefinch/lumberjack.v2" ) func main() { logger := &lumberjack.Logger{ Filename: "./app.log", // 日志文件路徑 MaxSize: 100, // 每個日志文件最大 size，單位是 MB MaxBackups: 5, // 最大保留舊日志文件數(shù)量 MaxAge: 30, // 保留舊日志文件的最大天數(shù) Compress: true, // 是否壓縮/歸檔舊日志文件 } log.SetOutput(logger) log.SetFlags(log.Ldate | log.Ltime | log.Lshortfile) log.Println("This is a log message.") // 可以在程序退出時關閉 lumberjack // defer logger.Close() // 實際上 lumberjack 會自動處理 close }
lumberjack 使用簡單，配置靈活，可以滿足大多數(shù)應用場景的日志管理需求。注意 Filename 可以是相對路徑或絕對路徑。
使用 logrus 結合 lumberjack 實現(xiàn)結構化日志和日志分割
logrus 是一個結構化日志庫，方便輸出 JSON 格式的日志，方便后續(xù)分析。它可以與 lumberjack 結合使用。
package main import ( "log" "github.com/sirupsen/logrus" "gopkg.in/natefinch/lumberjack.v2" "os" ) func main() { // 初始化 lumberjack lumberjackLogger := &lumberjack.Logger{ Filename: "./app.log", MaxSize: 100, MaxBackups: 5, MaxAge: 30, Compress: true, } // 初始化 logrus logrusLogger := logrus.New() logrusLogger.SetOutput(lumberjackLogger) logrusLogger.SetFormatter(&logrus.JSONFormatter{}) // 輸出 JSON 格式 // 設置 logrus 的默認 logger log.SetOutput(logrusLogger.Writer()) // 將標準 log 重定向到 logrus log.SetFlags(0) // 禁用標準 log 的 flags，避免重復輸出 logrusLogger.WithFields(logrus.Fields{ "component": "main", "action": "start", }).Info("Application started") log.Println("This is a log message from standard log.") // 會被 logrus 處理 logrusLogger.Info("This is a log message from logrus.") }
這種方式的優(yōu)勢在于既可以享受 logrus 的結構化日志，又可以利用 lumberjack 的日志分割和壓縮功能。logrusLogger.Writer() 返回一個 io.Writer，可以被標準庫 log 使用，實現(xiàn)統(tǒng)一的日志管理。
使用系統(tǒng)自帶的 logrotate 工具
linux 系統(tǒng)自帶 logrotate 工具，可以對任何日志文件進行分割和壓縮。只需要編寫一個 logrotate 配置文件即可。
例如，創(chuàng)建一個 /etc/logrotate.d/myapp 文件，內(nèi)容如下：
/path/to/your/app.log { daily rotate 7 compress delaycompress missingok notifempty create 644 root root }
這個配置表示：
- 每天分割日志
- 保留 7 個舊日志
- 壓縮舊日志
- 延遲壓縮，避免正在寫入的日志被壓縮
- 如果日志文件不存在，忽略錯誤
- 如果日志文件為空，不進行分割
- 創(chuàng)建新日志文件，權限為 644，所有者為 root，所屬組為 root
這種方式的優(yōu)點是簡單易用，不需要修改代碼。缺點是需要手動配置，并且無法實現(xiàn)結構化日志。
Golang 應用如何與 docker 日志驅動配合？
Docker 提供了多種日志驅動，例如 json-file、syslog、fluentd 等。如果應用運行在 Docker 容器中，可以利用 Docker 的日志驅動進行日志管理。
例如，使用 json-file 驅動，Docker 會將容器的 stdout 和 stderr 輸出寫入 JSON 文件?？梢允褂?docker logs 命令查看日志。
如果需要更高級的日志管理，可以使用 syslog 或 fluentd 驅動，將日志發(fā)送到遠程服務器進行集中管理。
使用 Docker 日志驅動的優(yōu)點是方便管理，不需要在應用中進行額外的配置。缺點是性能可能不如直接寫入文件，并且無法實現(xiàn)結構化日志。
如何監(jiān)控日志文件大小，防止磁盤空間耗盡？
監(jiān)控日志文件大小，防止磁盤空間耗盡，是運維的重要環(huán)節(jié)?？梢允褂枚喾N工具進行監(jiān)控：
- 磁盤監(jiān)控工具： 例如 df 命令、du 命令，可以定期檢查磁盤空間使用情況。
- 監(jiān)控系統(tǒng)： 例如 prometheus、grafana、zabbix，可以配置告警規(guī)則，當磁盤空間使用率超過閾值時發(fā)送告警。
- 腳本： 可以編寫腳本定期檢查日志文件大小，如果超過閾值，則進行處理（例如分割、壓縮、刪除）。
一個簡單的 Shell 腳本示例：
#!/bin/bash LOG_FILE="/path/to/your/app.log" MAX_SIZE=100 # MB file_size=$(du -m "$LOG_FILE" | awk '{print $1}') if [ "$file_size" -gt "$MAX_SIZE" ]; then echo "Log file size exceeds threshold: $file_size MB" # 進行日志分割、壓縮等操作 gzip "$LOG_FILE" fi
這個腳本定期檢查日志文件大小，如果超過 100MB，則進行壓縮。可以將這個腳本添加到 crontab 中，定期執(zhí)行。
