[發(fā)明專利]一種高密度多處理器系統(tǒng)及其節(jié)點(diǎn)控制器

有效

• 申請?zhí)枺?/td>: 201010236543.5
• 申請日: 2010-07-22
• 公開（公告）號: CN101908036A
• 公開（公告）日: 2010-12-08
• 發(fā)明（設(shè)計）人: 曹政;王凱;陳飛;劉銳;胡濤;安學(xué)軍;孫凝暉
• 申請（專利權(quán)）人: 中國科學(xué)院計算技術(shù)研究所
• 主分類號: G06F15/80
• 分類號: G06F15/80;G06F13/28
• 代理公司: 北京律誠同業(yè)知識產(chǎn)權(quán)代理有限公司 11006
• 代理人: 祁建國;梁揮

技術(shù)領(lǐng)域

本發(fā)明涉及并行多處理器系統(tǒng)領(lǐng)域，特別是涉及一種高密度多處理器系統(tǒng)及其節(jié)點(diǎn)控制器。

背景技術(shù)

并行多處理器系統(tǒng)的節(jié)點(diǎn)控制器是節(jié)點(diǎn)內(nèi)各種部件(處理器、主存和設(shè)備等)互連的通道，其結(jié)構(gòu)隨著體系結(jié)構(gòu)的不同而不同。當(dāng)前主流的體系結(jié)構(gòu)包括對稱多處理系統(tǒng)(Symmetrical?Multi-Processing，SMP)、非對稱存儲訪問系統(tǒng)(Non?Uniform?Memory?Access，NUMA)、大規(guī)模并行處理系統(tǒng)(Massively?Parallel?Processing，MPP)和機(jī)群系統(tǒng)(Cluster)。

Cluster中節(jié)點(diǎn)采用主流商用計算機(jī)，多為SMP和NUMA結(jié)構(gòu)，因此SMP、NUMA和Cluster中采用的節(jié)點(diǎn)控制器可以歸為一類，此類節(jié)點(diǎn)的節(jié)點(diǎn)控制器采用北橋加南橋的方式。北橋負(fù)責(zé)實現(xiàn)處理器與主存及南橋間的數(shù)據(jù)交互，目前的系統(tǒng)中北橋多被集成在處理器中；南橋負(fù)責(zé)外圍設(shè)備與北橋的數(shù)據(jù)交互，連接所有的外圍設(shè)備。然而使用此類節(jié)點(diǎn)控制器，處理器間的數(shù)據(jù)交互以Load和Store方式，一次傳輸數(shù)據(jù)量很小，通信帶寬利用率低。節(jié)點(diǎn)控制器需要維護(hù)Cache一致性，導(dǎo)致擴(kuò)展性差。

MPP系統(tǒng)則采用定制的節(jié)點(diǎn)，其節(jié)點(diǎn)控制器稱為路由器(Router)，多個處理器直接掛載到Router上，構(gòu)成直接網(wǎng)絡(luò)，對外圍設(shè)備的訪問則通過獨(dú)立的服務(wù)節(jié)點(diǎn)實現(xiàn)。此類Router實現(xiàn)的外部接口采用自定義協(xié)議，無法使用商用化硬件，導(dǎo)致較高的系統(tǒng)成本。受限于直接網(wǎng)絡(luò)拓?fù)洌粋€Router能夠互連的處理器數(shù)目受到限制。

隨著并行多處理機(jī)系統(tǒng)的性能不斷提高，由于空間占用和散熱效率的限制，使其對節(jié)點(diǎn)密度的需求越來越高，即一個節(jié)點(diǎn)要容納越來越多的處理器。同時由于成本的限制，使其對節(jié)點(diǎn)商品化的要求越來越迫切，即一方面節(jié)點(diǎn)能夠盡可能使用商用部件，另一方面節(jié)點(diǎn)能夠獨(dú)立運(yùn)行，成為主流商用服務(wù)器。這就要求節(jié)點(diǎn)控制器的設(shè)計在提供高帶寬、低延遲互連的基礎(chǔ)上，還需要具有較好的擴(kuò)展性，支持更多的處理器互連，同時兼容商品化設(shè)備。而現(xiàn)有的Cluster節(jié)點(diǎn)和MPP節(jié)點(diǎn)的節(jié)點(diǎn)控制器設(shè)計無法滿足所有需求。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種高密度多處理器系統(tǒng)及其節(jié)點(diǎn)控制器。其實現(xiàn)了多個處理器的高速互連，提高多處理器系統(tǒng)的密度，并實現(xiàn)多個處理器對商品化外設(shè)的共享訪問。

為實現(xiàn)本發(fā)明的目的而提供的一種高密度多處理器系統(tǒng)的節(jié)點(diǎn)控制器，包括：多個處理器端口，一個I/O端口，一個直接內(nèi)存訪問交叉開關(guān)模塊和一個讀/寫交叉開關(guān)模塊，其中：

所述處理器端口，分為主處理器端口和從處理器端口，用于分別與主處理器和從處理器連接，主處理器負(fù)責(zé)具體計算任務(wù)的運(yùn)行，以及對外圍設(shè)備的發(fā)現(xiàn)和初始化過程，從處理器只負(fù)責(zé)具體計算任務(wù)的運(yùn)行；

所述I/O端口，通過I/O總線與外圍設(shè)備連接，其包括：讀/寫模塊和I/O接口模塊，所述I/O接口模塊用于負(fù)責(zé)實現(xiàn)I/O總線根設(shè)備邏輯，所述I/O接口模塊通過一窗口寄存器記錄該端口的全局地址分配，并實現(xiàn)系統(tǒng)總線包格式與I/O總線包格式間的互相轉(zhuǎn)換；所述讀/寫模塊與所述讀/寫交叉開關(guān)模塊連接；

所述直接內(nèi)存訪問交叉開關(guān)模塊，用于實現(xiàn)各所述處理器端口間直接內(nèi)存訪問數(shù)據(jù)的交換；

所述讀/寫交叉開關(guān)模塊，用于實現(xiàn)各所述處理器端口之間，以及所述處理器端口和I/O端口之間讀/寫數(shù)據(jù)的交換。

所述處理器端口，包括：處理器接口模塊、分發(fā)模塊、仲裁模塊、直接內(nèi)存訪問模塊、讀/寫模塊和I/O高級可編程中斷控制器模塊其中：

所述處理器接口模塊，根據(jù)其所屬的處理器端口連接的處理器的類型的不同，分為主處理器接口模塊和從處理器接口模塊，其中：所述主處理器接口模塊，負(fù)責(zé)與主處理器系統(tǒng)總線的掛接，包括所有總線鏈路層功能，主處理器接口模塊通過一窗口寄存器記錄該端口的全局地址分配，并實現(xiàn)系統(tǒng)總線終端設(shè)備的配置空間和橋設(shè)備的配置空間；所述從處理器接口模塊，負(fù)責(zé)與從處理器系統(tǒng)總線的掛接，包括所有總線鏈路層功能，從處理器接口模塊通過一窗口寄存器記錄該端口的全局地址分配，并實現(xiàn)系統(tǒng)總線終端設(shè)備的配置空間；

所述分發(fā)模塊，用于將來自所述處理器接口模塊的數(shù)據(jù)按照所屬功能分發(fā)給直接內(nèi)存訪問模塊或讀/寫模塊，或I/O高級中斷控制器模塊；

所述仲裁模塊，用于將來自直接內(nèi)存訪問模塊、讀/寫模塊和I/O高級中斷控制器模塊的數(shù)據(jù)進(jìn)行公平仲裁后，分時傳遞給所述處理器接口模塊，實現(xiàn)多種數(shù)據(jù)在處理器接口總線上的共享傳輸；