【Linux疑難雜症】kernel … BUG: soft lookup
前景提要
故事是這樣的，小明某一天在Linux系統上進行AI模型訓練時， 原本安心的去睡覺了， 沒想到一早起床想要看成功結果時， 竟然有一條可疑的LOG…。
kernel:[1270601.804083] watchdog: BUG: soft lockup - CPU#8 stuck for 27s! [kcompactd2:411]
這究竟是什麼狀況呢？ 雖然只是警告訊息， 但好奇心強烈的小明一直想要得到一個答案， 因此我們就來協助它排除這個問題吧！
CPU軟鎖定（soft lockup）是怎麼發生的？
這是Linux內核的一個保護機制，用於檢測並回報發生了長時間未回應的核心任務或進程。
軟鎖定通常發生在某個任務或進程進入了無限循環或阻塞狀態，導致無法响应其他任務或中斷。當內核檢測到這種情況時，會生成一個錯誤訊息，以警告系統存在問題。
CPU負載時間過長、電壓不穩定、I/O問題…等， 需要逐一排查。
應該怎麼處理呢？
雖然我們可以將watchdog的時間間隔拉大， 就能夠暫時解決問題。
# 預設為10， 這邊我們拉到30
echo 30 > /proc/sys/kernel/watchdog_thresh
但這只是蒙蔽自己不看到問題而已， 最終還是得逐一排查才行， 有可能我們的系統已經在告訴我們有狀況需要注意了， 就如同身體發出警告一樣， 若我們只是屏蔽它， 那麼問題將會積少成多， 最終導致較難以處理的大問題。
以下是幾種可能原因：
- 不當的內核模組：某些內核模組可能不穩定或有錯誤，導致系統出現軟鎖定。
- 資源競爭：當多個任務或進程競爭訪問共享資源時，可能導致死鎖或軟鎖定。
- 低級硬體問題：硬體故障或兼容性問題可能導致軟鎖定。
- 運行時間過長的任務：某些任務在執行時耗時過長，可能觸發軟鎖定保護機制。
我們可以向這些方向進行排查。
結語
Linux系統雖然相對門檻較高， 但使用者也都非常樂意分享遇到的狀況以及處理方法，所以基本上都不用害怕這個系統， 而且處理效能相對較佳， 尤其我們開發雲服務的應用程式時就非常需要Linux的技能， 不妨好好的學習一番， 跟上時代的趨勢。
喜歡撰寫文章的你，不妨來了解一下：
Web3.0時代下為創作者、閱讀者打造的專屬共贏平台 — 為什麼要加入？
歡迎加入一起練習寫作，賺取知識
116會員
261內容數
哈囉，我是阿Han，是一位 👩💻 軟體研發工程師，喜歡閱讀、學習、撰寫文章及教學，擅長以圖代文，化繁為簡，除了幫助自己釐清思路之外，也希望藉由圖解的方式幫助大家共同學習，甚至手把手帶您設計出高品質的軟體產品。
留言0
查看全部
你可能也想看
Google News 追蹤
*合作聲明與警語：
本文係由國泰世華銀行邀稿。
證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務，定期定額(股)服務由國泰綜合證券提供。
剛出社會的時候，很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天，都會聽到各種市場動態、理財話題，像是：聯準會降息或是近期哪些科
Linux FAQ : ps 顯示的 stat 簡介
參考 :
https://unix.stackexchange.com/questions/18474/what-does-this-process-stat-indicates
df 卡住大多是掛載磁碟異常 ( mount )
可以改使用 df -l ( 查看本地磁碟 )
查看掛載磁碟 mount | column -t
參考 :
https://www.gushiciku.cn/pl/pIst/zh-tw
取消掛載磁碟 umount 位置
參考 :
1. UNIX/Linux 檔案壓縮與備份工具 tar 指令使用教學與範例（一）：tar 檔案
2. Linux 使用 split 指令將大檔案切割成小檔案，方便網路傳輸
3. [Linux] tar/gzip 檔案壓縮與解壓縮、split/cat檔案分割與合併的實務應用
垂直加總資料
參考 : https://blog.longwin.com.tw/2009/02/bash-sum-use-awk-2009/
若數字太大，出現 E 的符號，可以用 printf 來印
Linux FAQ : 給予顯示文字色彩
參考 :
https://stackoverflow.com/questions/5947742/how-to-change-the-output-color-of-echo-in-linux
Linux FAQ : grep 搜尋檔案內容
grep -i 不區分大小寫
grep -v 排除條件顯示
grep -l 顯示符合的檔名
grep -n 顯示條件在第幾行
grep -q 顯示 0 , 1 ( 檢查 $? , 0 is successful )
grep -x 整行完全符合才顯示
Linux FAQ : 查看 jar 檔方式
jar 檔其實類似 zip 壓縮檔
除了可以用 zip 軟體來打開
在 Linux 可以用一些指令輔助
Linux FAQ : ls , cp , rm Argument list too long
在使用 Linux
如大量檔案
ls 查看
cp 複製
rm 清理
可能會遇到了 Argument list too long
大約 10 萬筆以上檔案 就可能會看到此訊息
最近發現MySQL用timestamp自動設定的現在時間CURRENT_TIMESTAMP，會慢八個小時，紀錄一下怎麼解的:
解決MySQL用timestamp自動設定的現在時間，會慢八個小時的問題:
mysql > set global time_zone='+8:00'; // UTC+8為
*合作聲明與警語：
本文係由國泰世華銀行邀稿。
證券服務係由國泰世華銀行辦理共同行銷證券經紀開戶業務，定期定額(股)服務由國泰綜合證券提供。
剛出社會的時候，很常在各種 Podcast 或 YouTube 甚至是在朋友間聊天，都會聽到各種市場動態、理財話題，像是：聯準會降息或是近期哪些科
Linux FAQ : ps 顯示的 stat 簡介
參考 :
https://unix.stackexchange.com/questions/18474/what-does-this-process-stat-indicates
df 卡住大多是掛載磁碟異常 ( mount )
可以改使用 df -l ( 查看本地磁碟 )
查看掛載磁碟 mount | column -t
參考 :
https://www.gushiciku.cn/pl/pIst/zh-tw
取消掛載磁碟 umount 位置
參考 :
1. UNIX/Linux 檔案壓縮與備份工具 tar 指令使用教學與範例（一）：tar 檔案
2. Linux 使用 split 指令將大檔案切割成小檔案，方便網路傳輸
3. [Linux] tar/gzip 檔案壓縮與解壓縮、split/cat檔案分割與合併的實務應用
垂直加總資料
參考 : https://blog.longwin.com.tw/2009/02/bash-sum-use-awk-2009/
若數字太大，出現 E 的符號，可以用 printf 來印
Linux FAQ : 給予顯示文字色彩
參考 :
https://stackoverflow.com/questions/5947742/how-to-change-the-output-color-of-echo-in-linux
Linux FAQ : grep 搜尋檔案內容
grep -i 不區分大小寫
grep -v 排除條件顯示
grep -l 顯示符合的檔名
grep -n 顯示條件在第幾行
grep -q 顯示 0 , 1 ( 檢查 $? , 0 is successful )
grep -x 整行完全符合才顯示
Linux FAQ : 查看 jar 檔方式
jar 檔其實類似 zip 壓縮檔
除了可以用 zip 軟體來打開
在 Linux 可以用一些指令輔助
Linux FAQ : ls , cp , rm Argument list too long
在使用 Linux
如大量檔案
ls 查看
cp 複製
rm 清理
可能會遇到了 Argument list too long
大約 10 萬筆以上檔案 就可能會看到此訊息
最近發現MySQL用timestamp自動設定的現在時間CURRENT_TIMESTAMP，會慢八個小時，紀錄一下怎麼解的:
解決MySQL用timestamp自動設定的現在時間，會慢八個小時的問題:
mysql > set global time_zone='+8:00'; // UTC+8為