[發明專利]用于超大規模分布式處理應用的模塊化架構的系統和方法

有效

• 申請號: 201410243420.2
• 申請日: 2014-06-04
• 公開（公告）號: CN104219279B
• 公開（公告）日: 2018-01-23
• 發明（設計）人: A·R·巴特;P·薩卡爾
• 申請（專利權）人: 國際商業機器公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京市中咨律師事務所11247
• 代理人: 于靜,張亞非

1.一種用于操作分布式處理節點的系統，包括：

包括多個子節點的分布式處理節點，每個子節點包括：

至少一個處理器核，其可操作地連接到內存；

第一互連裝置，其可操作地連接到所述多個子節點中的每一個；

第二互連裝置，其可操作地連接到所述多個子節點中的每一個并且可操作地連接到存儲裝置；

在所述多個子節點中的第一子節點上運行的進程，所述進程可操作以從所述第一子節點的內存檢索數據；其中：

所述進程向所述第一子節點的內存詢問所請求的數據；

如果在所述第一子節點的內存中未發現所請求的數據，則所述進程經由所述第一互連裝置詢問所述多個子節點中的至少一個其他子節點的內存；

如果在所述其他子節點的內存中發現所請求的數據，則所述進程將所請求的數據拷貝到所述第一子節點的內存；以及

如果在所述第一子節點的內存或者所述多個子節點的至少另一個子節點的內存中未發現所請求的數據，則所述進程經由所述第二互連裝置詢問所述存儲裝置，

其中所述存儲裝置包括硬盤驅動器和固態驅動器，并且所述系統還包括存儲管理器，所述存儲管理器可操作以基于訪問模式在所述硬盤驅動器和所述固態驅動器之間分配數據，其中所述訪問模式包括順序訪問，并且所述存儲管理器優先地將非順序訪問的數據從所述硬盤驅動器重新放置到所述固態驅動器。

2.如權利要求1所述的系統，其中所述分布式處理節點是形成分布式處理集群的多個分布式處理節點中的一個，所述多個分布式處理節點中的每一個可操作地連接到第三互連裝置。

3.如權利要求1所述的系統，其中所述存儲裝置包括硬盤驅動器和固態驅動器，所述硬盤驅動器包括順序數據并且所述固態驅動器包括非順序數據。

4.如權利要求1所述的系統，其中所述第一互連裝置具有比所述第二互連裝置更高的帶寬。

5.如權利要求2所述的系統，其中所述第一互連裝置具有比所述第三互連裝置更高的帶寬。

6.如權利要求1所述的系統，其中所述多個子節點中的每個子節點的內存形成協同高速緩存或共享內存。

7.如權利要求1所述的系統，其中經由Hadoop分布式文件系統訪問所述存儲裝置。

8.如權利要求1所述的系統，其中所述分布式處理節點是Hadoop節點。

9.如權利要求2所述的系統，其中所述集群是Hadoop集群。

10.如權利要求1所述的系統，其中所述第一互連裝置被過度供應。

11.如權利要求1所述的系統，其中所述多個子節點的內存通過Memcached管理。

12.如權利要求1所述的系統，其中如果在所述存儲裝置中發現所請求的數據，則所述進程將所請求的數據拷貝到所述第一子節點的內存。

13.如權利要求1所述的系統，其中所述進程還可操作以在所述多個子節點的內存和所述存儲裝置之間傳播變更后的數據。

14.如權利要求1所述的系統，還包括任務調度器，所述任務調度器可操作以將所述進程分配給所述多個子節點中在其內存中具有最多被請求數據的子節點。