.jpg)
問(wèn)題背景
公司是做電商系統(tǒng)的，整個(gè)系統(tǒng)搭建在華為云上。系統(tǒng)設(shè)計(jì)的時(shí)候，考慮到后續(xù)的用戶和訂單數(shù)量比較大，需要使用一些大數(shù)據(jù)庫(kù)的組件。關(guān)系型數(shù)據(jù)庫(kù)這塊，考慮到后續(xù)數(shù)據(jù)量的快速增長(zhǎng)，不是直接寫(xiě)入mysql，而是使用了華為云的分布式數(shù)據(jù)庫(kù)中間件ddm。使用了ddm之后，可以在業(yè)務(wù)不感知的情況下，直接增加mysql讀實(shí)例的個(gè)數(shù)，線性提升讀性能。也支持中間件層面的分庫(kù)分表，提供海量關(guān)系型數(shù)據(jù)庫(kù)的操作。簡(jiǎn)直是為電商系統(tǒng)貼身定制的。
邏輯結(jié)構(gòu)如下圖所示：
▲業(yè)務(wù)通過(guò)MySQL-JDBC的Loadbalance能提訪問(wèn)多個(gè)DDM節(jié)點(diǎn)。MySQL-JDBC提供負(fù)載均衡能力。
問(wèn)題說(shuō)明
MySQL JDBC驅(qū)動(dòng)的客戶端負(fù)載均衡能力，一直運(yùn)行得好好，性能嗷嗷叫。可是前一陣子竟無(wú)故出現(xiàn)業(yè)務(wù)請(qǐng)求失敗。我是負(fù)責(zé)電商訂單模塊的，涉及到真實(shí)的Money，這個(gè)問(wèn)題可嚇了寶寶一身冷汗……
于是趕緊查看了后臺(tái)日志，發(fā)現(xiàn)是訪問(wèn)DDM出現(xiàn)了異常，二話不說(shuō)直接提了工單給華為云DDM服務(wù)。
不得不說(shuō)，華為云的服務(wù)還是很好的，不到半個(gè)小時(shí)就有專(zhuān)門(mén)的工作人員聯(lián)系了我，還跟我一起排查問(wèn)題。
將我們業(yè)務(wù)的日志取下來(lái)，和DDM的支撐人員一起分析，發(fā)現(xiàn)報(bào)錯(cuò)如下：根本原因竟然是MySQL驅(qū)動(dòng)的bug，導(dǎo)致StackOverflow本地棧溢出導(dǎo)致……原來(lái)是一個(gè)Bug引發(fā)的血案，誤會(huì)了DDM服務(wù)，真是抱歉了
從堆棧可以看出來(lái)，某個(gè)異常，觸發(fā)了MySQL-JDBC的bug，導(dǎo)致循環(huán)調(diào)用，直至棧溢出。在華為DDM支撐人員的建議下，對(duì)驅(qū)動(dòng)代碼進(jìn)行了反編譯，從反編譯的情況下，可以看到的確是存在循環(huán)嵌套的可能。
Loadbalance輪詢連接 –>同步新老連接的狀態(tài) ->發(fā)送sql給服務(wù)端 -> Loadbalance輪詢連接。
相關(guān)代碼如下：
?這么明顯的bug，不太相信MySQL會(huì)沒(méi)有發(fā)現(xiàn)。當(dāng)前我們使用的是5.1.44版本的驅(qū)動(dòng)，查看了下最新的5.1.66的代碼，發(fā)現(xiàn)的確是修復(fù)了這個(gè)問(wèn)題的，代碼如下：
?通過(guò)過(guò)濾掉SET和SHOW語(yǔ)句，避免了循環(huán)嵌套的發(fā)生。
但是5.1.66又引入了新的bug，由于并不是每個(gè)調(diào)用postProcess的地方都有SQL，這里的代碼會(huì)拋空指針異常。MySQL JDBC的開(kāi)發(fā)者都不做測(cè)試的嗎……
沒(méi)辦法，分析了下5.1.44的代碼，發(fā)現(xiàn)通過(guò)適當(dāng)?shù)恼{(diào)整loadBalanceAutoCommitStatementThreshold這個(gè)參數(shù)的數(shù)值，也可以避免循環(huán)嵌套的發(fā)生。我們的環(huán)境改成了5，修改之后，平穩(wěn)運(yùn)行1周，沒(méi)再出現(xiàn)過(guò)問(wèn)題。
修改方案
loadBalanceAutoCommitStatementThreshold修改成了5，但是引入的問(wèn)題是，如果業(yè)務(wù)包含一些比較耗時(shí)的SQL，可能會(huì)導(dǎo)致DDM的負(fù)載不均衡。不過(guò)，就目前情況來(lái)看，DDM的性能還是比較強(qiáng)勁的~
相關(guān)文章：
PHP驅(qū)動(dòng)MongoDB整數(shù)問(wèn)題的BUG和策略
PHP驅(qū)動(dòng)MongoDB整數(shù)問(wèn)題的BUG和策略
相關(guān)視頻：
.png)
