首頁
Alibaba Cloud Linux
服務支持
Alibaba Cloud Linux常見問題
Alibaba Cloud Linux 2系統的ECS實例中使用已釋放的文件系統inode出現系統宕機如何處理？
本文介紹如何解決Alibaba Cloud Linux 2系統的ECS實例中使用已釋放的文件系統inode導致系統宕機問題。
問題描述
在符合如下條件的Alibaba Cloud Linux 2實例中，系統運行時出現系統宕機問題。
鏡像：Alibaba Cloud Linux 2.1903 LTS 64位
內核：kernel-4.19.91-23.al7及之前的內核版本
系統宕機，且出現如下調用棧信息：
[598398.653602] BUG: unable to handle kernel NULL pointer dereference at 0000000000000000
[598398.655740] PGD 0 P4D 0
[598398.656113] Oops: 0000 [#1] SMP PTI
[598398.656601] CPU: 10 PID: 5519 Comm: kworker/u192:5 Kdump: loaded Not tainted 4.19.91-21.2.al7.x86_64 #1
[598398.657851] Hardware name: Alibaba Cloud Alibaba Cloud ECS, BIOS 8a46cfe 04/01/2014
[598398.658885] Workqueue: writeback wb_workfn (flush-254:48)
[598398.659644] RIP: 0010:locked_inode_to_wb_and_lock_list+0x1a/0x110
[598398.660484] Code: 6b 50 eb ce 48 01 6b 48 eb db 66 0f 1f 44 00 00 0f 1f 44 00 00 41 54 4c 8d a7 88 00 00 00 55 48 89 fd 53 48 8b 9d f8 00 00 00 <48> 8b 03 48 83 c0 58 48 39 c3 74 13 48 8b 83 18 02 00 00 a8 03 0f
[598398.662967] RSP: 0018:ffffbae05dc07c00 EFLAGS: 00010246
[598398.663662] RAX: 0000000000000000 RBX: 0000000000000000 RCX: ffff9d096bd0ed80
[598398.664611] RDX: 0000000000000001 RSI: 0000000000000000 RDI: ffff9d096bd0ed80
[598398.665555] RBP: ffff9d096bd0ed80 R08: 0000000000000001 R09: ffff9d344af394b2
[598398.666530] R10: 0000000000000006 R11: 0000000000000018 R12: ffff9d096bd0ee08
[598398.667470] R13: ffff9d096bd0ee68 R14: ffffbae05dc07e08 R15: ffff9d4e4914b858
[598398.668448] FS: 0000000000000000(0000) GS:ffff9d4e5e680000(0000) knlGS:0000000000000000
[598398.669543] CS: 0010 DS: 0000 ES: 0000 CR0: 0000000080050033
[598398.670322] CR2: 0000000000000000 CR3: 000000396720a003 CR4: 00000000003606e0
[598398.671267] DR0: 0000000000000000 DR1: 0000000000000000 DR2: 0000000000000000
[598398.672238] DR3: 0000000000000000 DR6: 00000000fffe0ff0 DR7: 0000000000000400
[598398.673196] Call Trace:
[598398.673563] writeback_sb_inodes+0x238/0x470
[598398.674170] __writeback_inodes_wb+0x87/0xb0
[598398.674754] wb_writeback+0x248/0x2e0
[598398.675260] ? 0xffffffffb7000000
[598398.675728] ? cpumask_next+0x16/0x20
[598398.676268] wb_workfn+0x350/0x420
[598398.676764] ? __switch_to+0xab/0x460
[598398.677297] process_one_work+0x15b/0x370
[598398.677859] worker_thread+0x49/0x3e0
[598398.678391] kthread+0xf8/0x130
[598398.678834] ? process_one_work+0x370/0x370
[598398.679419] ? kthread_park+0xb0/0xb0
[598398.679954] ret_from_fork+0x35/0x40
[598398.680451] Modules linked in: 8021q garp stp llc tcp_diag inet_diag sunrpc intel_rapl_msr intel_rapl_common iosf_mbi mousedev hid_generic isst_if_common psmouse pvpanic nfit button usbhid uhci_hcd ehci_pci ehci_hcd cirrus
[598398.683106] CR2: 0000000000000000
[598398.683580] ---[ end trace c60ddcb70b40a540 ]---問題原因
EXT4文件系統刪除日志數據的inode過程中，與JBD2事務提交流程之間存在一個競態條件，可能導致use-after-free的問題，引起系統宕機。
解決方案
說明
如果您對實例或數據有修改、變更等風險操作，務必注意實例的容災、容錯能力，確保數據安全。
如果您對實例（包括但不限于ECS、RDS）等進行配置與數據修改，建議提前創建快照或開啟RDS日志備份等功能。
如果您在阿里云平臺授權或者提交過登錄賬號、密碼等安全信息，建議您及時修改。
當遇到該問題時，您可以參考以下方案處理：
登錄ECS實例，詳情請參見連接方式概述。
執行以下命令，確認系統內核版本適用此方案。
uname -r系統顯示類似如下。
4.19.91-19.1.al7.x86_64請根據系統內核版本，選擇以下對應的解決方法：
4.19.91-19.1.al7.x86_64（不含）之前的版本
執行以下命令，將操作系統版本更新至最新的內核版本。
yum update kernel更新內核版本之后，需重啟生效，請執行以下命令，重啟服務器。
reboot若最新內核版本的操作系統同樣存在該問題，請執行以下步驟，更新內核熱補丁。
對于4.19.91-19.1.al7.x86_64（包含）到4.19.91-23.al7.x86_64（包含）之間的版本，可通過安裝內核熱補丁解決，安裝命令如下。
yum install -y kernel-hotfix-5260815-`uname -r | awk -F"-" '{print $NF}'`
文檔內容是否對您有幫助？