[發明專利]一種可降低跨節點訪存延時的NUMA系統構建方法

有效

• 申請號: 201710154590.7
• 申請日: 2017-03-15
• 公開（公告）號: CN106951390B
• 公開（公告）日: 2021-08-31
• 發明（設計）人: 周恒釗;劉璧怡;李拓
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: G06F15/173
• 分類號: G06F15/173
• 代理公司: 濟南舜源專利事務所有限公司 37205
• 代理人: 張亮

本發明涉及一種可降低跨節點訪存延時的NUMA系統構建方法，其特征在于，將NUMA系統劃分成若干節點，每個節點由同樣數量的處理器和兩個CC組成，每個處理器通過互連總線端口與節點內的其他處理器和CC進行通信；通過對每個處理器的地址譯碼器進行獨立配置，將節點內的兩個處理器協同芯片CC分別映射到完全相同的節點外內存空間，每個節點內的兩個CC分別在系統地址空間中各自代理兩個不同的平面，每個CC和與之直連的處理器構成其中一個平面；在節點間建立平面間的交叉互連關系；通過上述地址映射和物理互連的方法，實現系統中任意處理器跨節點訪存時需要的報文路由轉發路徑長度為3跳。

技術領域

本發明屬于計算機技術領域，具體涉及一種可降低跨節點訪存延時的NUMA系統構建方法。

背景技術

NUMA是一種典型的分布式共享內存多處理器架構，以其較高的可編程性和系統綜合效能，成為高端服務器的主流技術之一。當前主流的NUMA系統中處理器和處理器之間普遍采用點到點互連的方式進行通信，受到芯片工藝、面積和功耗等方面原因的限制，處理器所能夠提供的互連總線端口數目是有限的（≤3）。當NUMA系統規模較大、處理器數目較多時，處理器所能提供的互連總線端口數目不足以實現全直連，非直連的處理器間通信需要經過其他處理器或處理器協同芯片（CC，Co-operative Chipset）進行報文的中繼和路由轉發，轉發經過的跳步數目越多，路由開銷越大，訪存延時越高，系統性能因此受到影響。

現有的多節點NUMA系統構建方法，任意處理器跨節點訪存時需要同時與節點內的兩個CC進行通信，若涉及的物理地址與處理器分屬不同平面，訪存報文的路由轉發路徑最大長度為5跳：第1跳為請求源處理器與同節點中繼處理器1之間的點到點通信；第2跳為中繼處理器1與本節點CC之間的點到點通信；第3跳為請求源節點CC與目標節點CC之間的點到點通信；第4跳為目標節點CC與同節點內中繼處理器2之間的點到點通信；第5跳為中繼處理器2與同節點內存宿主處理器的點到點通信。若采用高/低位交叉的地址映射方式，處理器在跨節點訪存時有25%的概率走最長路徑，導致系統訪存的平均延時增大，整體訪存性能下降。此為現有技術的不足之處。

發明內容

本發明的目的在于，針對上述現有技術存在的缺陷，提供一種可降低跨節點訪存延時的NUMA系統構建方法，以解決上述技術問題。

為了達到上述目的，本發明提供的技術方案是：

一種可降低跨節點訪存延時的NUMA系統構建方法，其特征在于，包括以下過程：

過程A：系統劃分成若干節點，每個節點由同樣數量的處理器和兩個CC組成，每個處理器通過互連總線端口與節點內的其他處理器和CC進行通信；

過程B：對每個處理器的地址譯碼器進行獨立配置，將節點內的兩個處理器協同芯片CC分別映射到完全相同的節點外內存空間，每個節點內的兩個CC分別在系統地址空間中各自代理兩個不同的平面，每個CC和與之直連的處理器構成其中一個平面，整個系統按照位置關系劃分為上、下兩個平面；

過程C：在節點間建立平面間的交叉互連關系；

過程D：通過上述地址映射和物理互連的方法，實現系統中任意處理器跨節點訪存時需要的報文路由轉發路徑長度為3跳。

進一步的，對系統中的各處理器CPU的內存地址譯碼器進行獨立配置，配置方式為根據其所屬平面，將除本節點之外的全部內存地址空間均映射到同平面內與之直連的CC上。

進一步的， NUMA系統節點內，處理器進行跨節點訪存時只與同平面CC進行通信，與非直連的CC分屬不同平面，兩者之間沒有通信行為；NUMA節點間，所有節點的CC全部直連，上、下平面間可交叉通信，任意一個節點的任意一個CC，無論屬于哪一個平面，其始終與系統中其他節點中兩個平面的CC都保持直連關系；任意一個CC既可以與其他節點同平面內的CC通信，也可以與其他節點不同平面的CC通信。