高效模糊搜索：應對mysql千萬級數據查詢難題
在MySQL千萬級數據環境下，實現select * from table where title like %關鍵詞% limit 100這樣的毫秒級模糊搜索，是一個巨大的挑戰。由于模糊匹配無法利用索引，全表掃描導致查詢速度緩慢，常常耗時數秒甚至更久。本文將探討幾種優化方案，并分析其優劣。
文章作者曾嘗試elasticsearch、MySQL分詞索引、手動維護索引表以及分庫分表等方法，但都未能完全滿足毫秒級查詢的需求。內存加載數據雖然速度快，卻受限于服務器內存（僅512M Java堆內存），無法緩存所有數據。
核心問題是如何在內存受限的情況下，實現高效的模糊搜索。 everything軟件的高效搜索能力啟發我們尋找類似的解決方案。
一種可行方案是構建類似倒排索引的結構，但這與簡單的分詞索引有所不同。 我們構建一個“詞語對索引表”，將文本內容拆分成詞語對，并記錄每個詞語對對應的原始記錄主鍵ID。例如，“MySQL千萬級數據如何快速搜索？”會被拆分成（“MySQL”，“千萬”）、（“千萬”，“級”）等詞語對，并分別存儲其對應的記錄主鍵ID。
搜索時，通過連接多個子查詢實現。例如，搜索“快速搜索”，會查找“快”、“速”、“搜”、“索”四個詞，并通過主鍵ID連接，最終得到包含“快速搜索”的記錄。這種方法將模糊搜索轉化為精確匹配，顯著提高效率。
此方案需要預先構建并定期維護索引表，增加一定系統開銷，但相比全表掃描，效率提升巨大。 更重要的是，它完全在MySQL數據庫層面實現，無需第三方中間件。
基于詞語對的索引方法避免了全表掃描，通過精確匹配快速定位目標記錄，有效解決了百萬級數據模糊搜索的效率問題。 其性能取決于索引表的規模、設計和查詢語句的優化，需要根據實際情況進行調整。
