MySQL千萬級數據模糊搜索：如何在內存受限情況下實現秒級查詢？

高效應對千萬級mysql數據模糊搜索：秒級查詢的內存優化方案

面對千萬級數據的mysql數據庫，select * from table where title like %關鍵詞% limit 100 這樣的模糊搜索往往耗時10秒甚至更久，這是因為模糊查詢無法利用索引，只能進行全表掃描。本文針對內存受限（例如僅有512M Java堆內存）的情況，探討如何在不增加內存占用情況下，實現秒級模糊搜索。

文章首先排除了幾種常見方案：elasticsearch（維護成本高、資源消耗大）、MySQL分詞索引（中文支持不佳，搜索精度低）、手動維護索引表（代碼復雜，影響精度）、分庫分表（不在考慮范圍內）。 作者也嘗試過將數據加載到內存進行搜索，在300萬數據量下實現了500ms的查詢速度，但無法擴展到千萬級數據。

最終，本文提出了一種基于自定義索引表的解決方案，其核心在于：創建一張索引表，存儲每個記錄標題的分詞及其相鄰詞，以及對應的記錄主鍵ID。

索引表結構示例：

搜索“模糊搜索”時，通過索引表依次查找“模-糊”、“糊-搜”、“搜-索”、“索-NULL”對應的記錄主鍵ID，最終得到結果。這有效減少了需要掃描的數據量。

示例sql語句：

SELECT 原記錄主鍵ID FROM (SELECT 原記錄主鍵ID FROM 索引表 WHERE 當前詞 = '模' AND 下一詞 = '糊') a JOIN (SELECT 原記錄主鍵ID FROM 索引表 WHERE 當前詞 = '糊' AND 下一詞 = '搜') b USING(原記錄主鍵ID) JOIN (SELECT 原記錄主鍵ID FROM 索引表 WHERE 當前詞 = '搜' AND 下一詞 = '索') c USING(原記錄主鍵ID) JOIN (SELECT 原記錄主鍵ID FROM 索引表 WHERE 當前詞 = '索' AND 下一詞 IS NULL) d USING(原記錄主鍵ID)

此方案雖然需要預先構建索引表，增加了一定的存儲空間和維護成本，但顯著提升了搜索效率，并且適用于內存受限的環境。 實際應用中，可以根據情況調整分詞策略和SQL語句以優化性能。 文章并未深入探討類似everything軟件的高效搜索機制。