內存壓縮stl容器是為了降低內存占用，適用于大數據集處理。具體實現步驟：1.將stl容器數據序列化為字節流；2.使用zlib進行壓縮并存儲到新容器；3.解壓時反向操作。壓縮級別選擇需權衡cpu時間和壓縮率，實時性要求高選低級別，內存敏感選高級別，6為常用折中方案。錯誤處理應檢查zlib返回碼并采取對應措施，如釋放內存或重試。除zlib外，lz4、snappy、brotli和zstandard等庫也可根據速度與壓縮率需求選用。壓縮數據存儲或傳輸時需附原始大小信息以便正確解壓。
內存壓縮，簡單來說，就是減少數據在內存中占用的空間。使用zlib來壓縮STL容器，可以有效降低內存占用，尤其是在處理大數據集時。
實現思路：將STL容器中的數據序列化成字節流，然后使用zlib進行壓縮，壓縮后的數據存儲在新的容器中。解壓時，反向操作即可。
為什么要在內存中壓縮STL容器？
直接點說，就是為了省內存。想象一下，你有一個巨大的std::vector
如何選擇合適的壓縮級別？
zlib提供了多種壓縮級別，從1（最快，壓縮率最低）到9（最慢，壓縮率最高）。選擇合適的壓縮級別需要在CPU時間和壓縮率之間進行權衡。對于實時性要求高的應用，可以選擇較低的壓縮級別；對于對內存占用非常敏感的應用，可以選擇較高的壓縮級別。通常，級別6是一個不錯的折中方案。你可以通過實驗來找到最適合你的應用的壓縮級別。另外，還可以考慮使用zlib提供的deflateBound()函數來預估壓縮后的數據大小，避免內存溢出。
如何處理壓縮和解壓過程中的錯誤？
zlib的函數調用可能會返回錯誤碼，例如Z_OK表示成功，Z_MEM_ERROR表示內存錯誤，Z_STREAM_ERROR表示數據流錯誤等等。在編寫代碼時，必須檢查這些錯誤碼，并采取相應的處理措施。例如，如果deflateInit()返回Z_MEM_ERROR，說明內存不足，應該釋放一些內存或者終止程序。如果inflate()返回Z_DATA_ERROR，說明數據損壞，應該嘗試重新獲取數據或者通知用戶。一個好的實踐是，使用try-catch塊來捕獲異常，并記錄錯誤信息，方便調試。
#include <iostream> #include <vector> #include <zlib.h> #include <sstream> // 簡單的示例，壓縮 std::vector<int> std::vector<unsigned char> compress(const std::vector<int>& data) { std::stringstream ss; for (int val : data) { ss.write(reinterpret_cast<const char*>(&val), sizeof(int)); } std::string data_str = ss.str(); z_stream zs; memset(&zs, 0, sizeof(zs)); if (deflateInit(&zs, Z_DEFAULT_COMPRESSION) != Z_OK) { throw std::runtime_error("deflateInit failed while compressing."); } zs.next_in = reinterpret_cast<Bytef*>(const_cast<char*>(data_str.data())); zs.avail_in = data_str.size(); int chunk_size = 16384; std::vector<unsigned char> compressed_data; do { unsigned char out_buffer[chunk_size]; zs.next_out = reinterpret_cast<Bytef*>(out_buffer); zs.avail_out = chunk_size; int deflate_status = deflate(&zs, Z_FINISH); if (deflate_status != Z_OK && deflate_status != Z_STREAM_END) { deflateEnd(&zs); throw std::runtime_error("deflate failed while compressing."); } size_t compressed_bytes = chunk_size - zs.avail_out; compressed_data.insert(compressed_data.end(), out_buffer, out_buffer + compressed_bytes); } while (zs.avail_out == 0); deflateEnd(&zs); return compressed_data; } std::vector<int> decompress(const std::vector<unsigned char>& compressed_data, size_t original_size) { z_stream zs; memset(&zs, 0, sizeof(zs)); if (inflateInit(&zs) != Z_OK) { throw std::runtime_error("inflateInit failed while decompressing."); } zs.next_in = reinterpret_cast<Bytef*>(const_cast<unsigned char*>(compressed_data.data())); zs.avail_in = compressed_data.size(); std::vector<int> decompressed_data(original_size / sizeof(int)); // 預分配空間 zs.next_out = reinterpret_cast<Bytef*>(decompressed_data.data()); zs.avail_out = original_size; int inflate_status = inflate(&zs, Z_FINISH); if (inflate_status != Z_STREAM_END) { inflateEnd(&zs); throw std::runtime_error("inflate failed while decompressing."); } inflateEnd(&zs); return decompressed_data; } int main() { std::vector<int> original_data = {1, 2, 3, 4, 5, 6, 7, 8, 9, 10}; size_t original_size = original_data.size() * sizeof(int); try { std::vector<unsigned char> compressed_data = compress(original_data); std::cout << "Original size: " << original_size << " bytes" << std::endl; std::cout << "Compressed size: " << compressed_data.size() << " bytes" << std::endl; std::vector<int> decompressed_data = decompress(compressed_data, original_size); // 驗證解壓后的數據 if (original_data == decompressed_data) { std::cout << "Decompression successful!" << std::endl; } else { std::cout << "Decompression failed!" << std::endl; } } catch (const std::exception& e) { std::cerr << "Exception: " << e.what() << std::endl; return 1; } return 0; }
除了zlib，還有其他壓縮庫可以選擇嗎？
當然有。zlib雖然廣泛使用，但并不是唯一的選擇。還有其他的壓縮庫，例如：
- LZ4: 以速度快著稱，壓縮率相對較低。適合對性能要求極高的場景。
- Snappy: Google開發的壓縮庫，速度和壓縮率都比較均衡。
- Brotli: Google開發的另一種壓縮庫，壓縮率比zlib更高，但速度相對較慢。
- Zstandard (zstd): facebook開發的壓縮庫，提供了多種壓縮級別，可以在速度和壓縮率之間進行靈活調整。
選擇哪個壓縮庫取決于你的具體需求。如果你最關心速度，可以選擇LZ4或Snappy；如果你最關心壓縮率，可以選擇Brotli或Zstandard；如果需要在速度和壓縮率之間進行權衡，可以選擇zlib或Zstandard。在選擇之前，最好對不同的壓縮庫進行benchmark測試，找到最適合你的應用的庫。
如何將壓縮后的數據存儲到磁盤或者通過網絡傳輸？
壓縮后的數據本質上是一段字節流，可以像任何其他數據一樣存儲到磁盤或者通過網絡傳輸。存儲到磁盤時，可以將壓縮后的數據直接寫入文件。通過網絡傳輸時，可以將壓縮后的數據封裝到網絡協議中，例如http或TCP。需要注意的是，在存儲或傳輸壓縮后的數據時，需要同時保存原始數據的大小，以便解壓時正確分配內存。一種常見的做法是在壓縮后的數據前面加上一個header，header中包含原始數據的大小和其他元數據。接收方在接收到數據后，首先讀取header，獲取原始數據的大小，然后分配內存，最后解壓數據。
