內(nèi)存映射文件是一種將文件內(nèi)容直接映射到進程地址空間的高效io機制，其優(yōu)點包括1.減少系統(tǒng)調(diào)用次數(shù)2.利用頁面緩存自動同步數(shù)據(jù)3.支持隨機訪問適合處理大文件。windows下使用步驟為：1.createfile打開文件2.createfilemapping創(chuàng)建映射對象3.mapviewoffile映射到進程空間。linux下則通過1.open打開文件2.fstat獲取大小3.mmap進行映射。適用場景有：1.只讀訪問大文件如日志分析2.隨機訪問文件內(nèi)容3.多進程共享通信4.io密集型任務(wù)提升性能。不建議用于頻繁寫入需立即落盤或內(nèi)存受限的嵌入式環(huán)境。
在處理大文件時，傳統(tǒng)的文件讀寫方式效率往往不高，尤其是頻繁的系統(tǒng)調(diào)用和數(shù)據(jù)拷貝會帶來較大的性能損耗。而c++中使用內(nèi)存映射文件（Memory-Mapped File）是一種非常高效的IO方案，它通過將文件直接映射到進程的地址空間，讓程序像訪問內(nèi)存一樣操作文件內(nèi)容。
什么是內(nèi)存映射文件？
內(nèi)存映射文件是操作系統(tǒng)提供的一種機制，它將一個文件或一部分文件的內(nèi)容映射到進程的虛擬地址空間中。這樣一來，程序就可以像訪問普通內(nèi)存一樣讀寫文件內(nèi)容，無需調(diào)用 read() 或 write() 等函數(shù)。
這種方式的優(yōu)點包括：
立即學(xué)習(xí)“C++免費學(xué)習(xí)筆記（深入）”；
- 減少系統(tǒng)調(diào)用次數(shù)
- 利用操作系統(tǒng)的頁面緩存機制，自動管理磁盤與內(nèi)存的數(shù)據(jù)同步
- 支持隨機訪問，特別適合處理大文件
如何在windows下使用內(nèi)存映射文件？
Windows 提供了一套API來支持內(nèi)存映射文件，主要涉及以下幾個步驟：
- 使用 CreateFile() 打開目標(biāo)文件
- 使用 CreateFileMapping() 創(chuàng)建文件映射對象
- 使用 MapViewOfFile() 將文件映射到當(dāng)前進程的地址空間
示例代碼如下：
HANDLE hFile = CreateFile(L"largefile.bin", GENERIC_READ, 0, NULL, OPEN_EXISTING, FILE_ATTRIBUTE_NORMAL, NULL); HANDLE hMapFile = CreateFileMapping(hFile, NULL, PAGE_READONLY, 0, 0, NULL); LPVOID pData = MapViewOfFile(hMapFile, FILE_MAP_READ, 0, 0, 0); // 此時pData指向的就是整個文件的內(nèi)容，可以像指針一樣訪問 char* buffer = static_cast<char*>(pData); for (size_t i = 0; i < fileSize; ++i) { // 處理buffer[i] } // 最后記得釋放資源 UnmapViewOfFile(pData); CloseHandle(hMapFile); CloseHandle(hFile);
需要注意的是：
- 如果要修改文件內(nèi)容，需要以可寫權(quán)限創(chuàng)建映射對象
- 映射完成后不要忘記調(diào)用 UnmapViewOfFile 和關(guān)閉句柄，避免資源泄漏
linux下如何實現(xiàn)內(nèi)存映射文件？
Linux 下使用的是 POSIX 的 mmap 接口，流程更簡潔一些：
- 打開文件：open()
- 獲取文件大小：lseek() 或 fstat()
- 調(diào)用 mmap() 進行映射
示例代碼如下：
int fd = open("largefile.bin", O_RDONLY); struct stat sb; fstat(fd, &sb); char* addr = static_cast<char*>(mmap(NULL, sb.st_size, PROT_READ, MAP_PRIVATE, fd, 0)); // 使用addr訪問文件內(nèi)容 for (size_t i = 0; i < sb.st_size; ++i) { // 處理addr[i] } // 釋放資源 munmap(addr, sb.st_size); close(fd);
幾個關(guān)鍵點：
- PROT_READ 表示只讀，如果要寫入則改為 PROT_READ | PROT_WRITE
- MAP_PRIVATE 表示私有映射，不會影響原始文件；若想寫回文件，可以用 MAP_SHAred
- 記得最后調(diào)用 munmap 來解除映射
內(nèi)存映射適用于哪些場景？
內(nèi)存映射并不是萬能的，但它在以下幾種場景中表現(xiàn)非常出色：
- 只讀訪問大文件：比如日志分析、索引構(gòu)建等
- 隨機訪問文件內(nèi)容：不需要順序讀取整個文件
- 多個進程共享文件內(nèi)容：通過共享映射實現(xiàn)高效通信
- 提升性能瓶頸明顯的IO密集型任務(wù)
但不建議用于：
- 文件頻繁修改且要求立即落盤的場景
- 需要嚴(yán)格控制內(nèi)存使用的嵌入式環(huán)境
基本上就這些。內(nèi)存映射文件是一個很實用的技術(shù)，尤其在處理大文件時，可以顯著減少IO開銷，提高程序響應(yīng)速度。雖然不同平臺的實現(xiàn)略有差異，但邏輯大致相同，掌握之后很容易復(fù)用。
