深信服信創(chuàng)超融合實(shí)現(xiàn)在海光CPU架構(gòu)下 IOPS 性能提升20%

信創(chuàng)升級(jí)面臨性能短板

信創(chuàng)升級(jí)浪潮正席卷各行業(yè)，信創(chuàng)虛擬化、超融合及云平臺(tái)被廣泛應(yīng)用于承載核心業(yè)務(wù)。這些核心業(yè)務(wù)對(duì)云平臺(tái)的性能和穩(wěn)定性要求極高。然而， 簡(jiǎn)單的信創(chuàng)升級(jí)常伴隨著性能下滑和穩(wěn)定性欠佳等問(wèn)題， 極大地影響了改造效果。

以 金融 行業(yè)高頻訂單處理系統(tǒng)，工業(yè)自動(dòng)化控制系統(tǒng)，醫(yī)療行業(yè)HIS系統(tǒng)與PACS系統(tǒng)，以及智能交通管理系統(tǒng)為例，這些對(duì)搶占調(diào)度要求高的業(yè)務(wù)系統(tǒng)，對(duì)云平臺(tái)的計(jì)算能力、存儲(chǔ)性能和數(shù)據(jù)處理速度的要求不斷攀升。

在主流服務(wù)器采用的NUMA CPU 架構(gòu)下，系統(tǒng)包含多個(gè)NUMA節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)又有多個(gè)CCX（Core Complex的縮寫，即緩存一致性復(fù)合體）。該架構(gòu)下，如何優(yōu)化CPU調(diào)度，提升虛擬機(jī)性能，成為信創(chuàng)高質(zhì)量升級(jí)的關(guān)鍵課題。

本文將以海光CPU架構(gòu)為切入點(diǎn)，深入剖析 CCX 對(duì)虛擬機(jī)性能提升的影響機(jī)制，并提出切實(shí)可行的性能提升方案。

海光CPU架構(gòu)關(guān)鍵技術(shù)解析

1. NUMA架構(gòu)特性：多處理器系統(tǒng)基石

隨著處理器技術(shù)逐漸逼近物理極限，多處理器集成技術(shù)應(yīng)運(yùn)而生，NUMA 架構(gòu)憑借獨(dú)特的設(shè)計(jì)理念，為提升系統(tǒng)性能開(kāi)辟了新的方向。

NUMA（Non-Uniform Memory Access，非統(tǒng)一內(nèi)存訪問(wèn)）作為一種 多處理器系統(tǒng)架構(gòu) ，將內(nèi)存和處理器劃分為多個(gè)獨(dú)立節(jié)點(diǎn)。 當(dāng)進(jìn)程訪問(wèn)本地NUMA內(nèi)存時(shí)，時(shí)延低；而經(jīng)QPI總線訪問(wèn)遠(yuǎn)端內(nèi)存時(shí)，時(shí)延顯著增加。 這一特性使得進(jìn)程優(yōu)先在本地節(jié)點(diǎn)分配內(nèi)存，便于通過(guò)增加節(jié)點(diǎn)擴(kuò)展內(nèi)存和處理能力。這種架構(gòu)適用于數(shù)據(jù)中心、高性能計(jì)算集群等大規(guī)模多處理器系統(tǒng)。

NUMA架構(gòu)

2. CCX模塊：協(xié)同計(jì)算的核心單元

CCX 作為系統(tǒng) 進(jìn)行任務(wù)分配和處理的基本單元之一 ，源自AMD 在 Zen 架構(gòu)，海光 C86 系列CPU延續(xù)了這一設(shè)計(jì)。每個(gè)CCX整合多個(gè)處理器核心，同一 CCX 內(nèi)核心共享 L3 緩存，可減少約 15～20ns的跨核心數(shù)據(jù)訪問(wèn)延遲。通常一個(gè)NUMA包含2個(gè)CCX，每個(gè)CCX 集成 4 個(gè) CPU 核心，這種模塊化設(shè)計(jì) 可靈活擴(kuò)展核心數(shù)，從16 核到 64 核，滿足不同場(chǎng)景需求。

CCX模塊

3. 跨CCX運(yùn)行：降低了存儲(chǔ)性能

線程是 CPU 調(diào)度的基本單位，其執(zhí)行效率與緩存訪問(wèn)特性密切相關(guān)。同一 CCX 內(nèi)，線程能夠借助本地L3緩存，實(shí)現(xiàn)高效的數(shù)據(jù)交互。

然而在實(shí)際運(yùn)行中，Linux內(nèi)核會(huì)根據(jù) CCX 負(fù)載和內(nèi)存訪問(wèn)模式，動(dòng)態(tài)調(diào)整線程在不同 CCX 間的分配。這雖提升了系統(tǒng)級(jí)資源利用率，但可能導(dǎo)致存儲(chǔ)虛擬化工作線程分散到不同CCX（如圖①-②所示），造成 跨CCX緩存失效和遠(yuǎn)端訪存，最終降低了存儲(chǔ)性能。

跨CCX模塊運(yùn)行

那么，如何破解這一難題，成為提升系統(tǒng)性能的關(guān)鍵。

深信服CCX軟親和調(diào)度，解鎖性能新高度

面對(duì)CCX調(diào)度難題， 深信服信創(chuàng)超融合推出軟親和調(diào)度機(jī)制，實(shí)時(shí)監(jiān)測(cè)業(yè)務(wù)負(fù)載變化，實(shí)現(xiàn)CPU資源的動(dòng)態(tài)分配 ：

1.低負(fù)載場(chǎng)景：當(dāng)CPU負(fù)載較低時(shí)，優(yōu)先使用軟親和范圍內(nèi)的CPU，充分發(fā)揮資源訪問(wèn)的局部性優(yōu)勢(shì)，降低調(diào)度開(kāi)銷；

2.高負(fù)載場(chǎng)景：當(dāng)CPU負(fù)載較高時(shí)，則會(huì)突破軟親和范圍的限制，增加CPU資源供給，保證業(yè)務(wù)服務(wù)質(zhì)量不受影響。

在C86場(chǎng)景下，深信服基于軟親和調(diào)度機(jī)制，頻繁交互的存儲(chǔ)服務(wù)線程進(jìn)行CCX調(diào)度精細(xì)化編排：

1.CCX 利用率低時(shí)，聚合線程降時(shí)延：當(dāng)CCX范圍內(nèi)CPU利用率低于特定閾值，將存儲(chǔ)線程聚合在CCX內(nèi)（如圖③所示），降低通信時(shí)延，提升IO性能；

2.CCX 利用率高時(shí)，分散線程保吞吐：當(dāng)CCX范圍內(nèi)CPU利用率高于特定閾值，允許存儲(chǔ)線程在更大CPU范圍內(nèi)運(yùn)行，避免資源爭(zhēng)搶，減少通信延遲，保障系統(tǒng)吞吐。

深信服軟親和調(diào)度機(jī)制

這一優(yōu)化策略， 顯著提升了小塊性能，IOPS提高約20%， 為用戶帶來(lái)了更高效的使用體驗(yàn)。

小塊性能提升20%

深信服 CCX 軟親和調(diào)度 ? VS 傳統(tǒng)方案

相較于業(yè)界其他方案，深信服的軟親和調(diào)度機(jī)制展現(xiàn)出顯著優(yōu)勢(shì)：

傳統(tǒng)調(diào)度方案的局限

業(yè)界 多普遍依賴操作系統(tǒng)原生調(diào)度器CFS的通用負(fù)載均衡算法 ，缺乏對(duì)CCX拓?fù)鋵蛹?jí)的深度適配，導(dǎo)致跨CCX線程通信需頻繁穿透L3緩存層級(jí)，影響系統(tǒng)性能。

加之，部分廠商 采用硬親和性綁定策略 ，雖避免了跨CCX開(kāi)銷，但犧牲了調(diào)度彈性。當(dāng)綁定的CCX內(nèi)運(yùn)行高優(yōu)先級(jí)計(jì)算任務(wù)時(shí)，容易引發(fā)資源爭(zhēng)搶面臨饑餓風(fēng)險(xiǎn)。

深信服軟親和調(diào)度機(jī)制

深信服通過(guò)為操作系統(tǒng)調(diào)度器提供CPU拓?fù)浜拓?fù)載指導(dǎo)信息，輔助系統(tǒng)做出更合理的調(diào)度決策，靈活調(diào)整CPU資源供給，實(shí)現(xiàn)低負(fù)載場(chǎng)景降時(shí)延，高負(fù)載場(chǎng)景保吞吐的效果，實(shí)現(xiàn)了性能與靈活性的平衡。

信創(chuàng)超融合的新未來(lái)

在國(guó)產(chǎn)海光CPU多核心、多CCX架構(gòu)下，深信服信創(chuàng)超融合采用軟親和調(diào)度優(yōu)化機(jī)制，為信創(chuàng)超融合領(lǐng)域的 IO 性能提升提供了切實(shí)可行的解決方案 。通過(guò)自適應(yīng)的調(diào)整策略，充分發(fā)揮了CCX的架構(gòu)優(yōu)勢(shì)，有效提升了系統(tǒng)的整體性能。

展望未來(lái)，隨著信創(chuàng)產(chǎn)業(yè)的持續(xù)發(fā)展，深信服將繼續(xù)深化技術(shù)創(chuàng)新，為推動(dòng)信創(chuàng)超融合技術(shù)的進(jìn)步，貢獻(xiàn)更多的智慧與力量。