服務(wù)器CPU占用率高的定位分析
背景
通過(guò)性能監(jiān)控發(fā)現(xiàn)上線服務(wù)器cpu某核占用率已經(jīng)達(dá)到了100%，而且是由我們的某個(gè)核心服務(wù)導(dǎo)致的。幸虧由于我們的服務(wù)進(jìn)程由多個(gè)相同worker（線程）調(diào)度承擔(dān)的，所以除了CPU占用率高之外，并沒(méi)有對(duì)服務(wù)造成影響。隨著上次我們找到那個(gè)吃IO的罪犯，這次我們要追捕的是潛伏在團(tuán)體中的特務(wù)，更加驚險(xiǎn)刺激喲！
系統(tǒng)環(huán)境
用top命令很容易定位到是誰(shuí)占用CPU最高。
以我們的這個(gè)業(yè)務(wù)進(jìn)程（imDevServer）舉例，為什么說(shuō)這貨是個(gè)潛伏者呢？因?yàn)檫@是個(gè)多線程的進(jìn)程，我們要知道實(shí)際上占用cpu的最小單位是線程，所以肯定是眾線程中的某一個(gè)或幾個(gè)占用CPU過(guò)高導(dǎo)致的。再用top -H -p pid命令查看進(jìn)程內(nèi)各個(gè)線程占用的CPU百分比。
如上圖所示我們可以看出id為8863的線程cpu占用率最高。好，我們現(xiàn)在只要能找到他偷走的cpu就好了，雖然這小子嘴巴嚴(yán)，但是我們有一套完善的審問(wèn)流程，不怕他不招。首先出馬的是strace -T -r -c -p pid命令
它的作用是查看系統(tǒng)調(diào)用和花費(fèi)的時(shí)間，epoll_wait雖然占用的調(diào)用時(shí)間多，但是他本身是個(gè)正常的阻塞調(diào)用。我們接著讓pstack pid出馬
可以看到每個(gè)線程的調(diào)用堆棧，找到已經(jīng)找出的占用CPU最高的那個(gè)線程，然后看他的調(diào)用堆棧，很容易看出在哪一步邏輯上導(dǎo)致了busy loop，再使用trace -p tid看看線程的調(diào)用過(guò)程接著定位到代碼，修復(fù)bug，找回被偷走的cpu。