[發明專利]用于超大規模分布式處理應用的模塊化架構的系統和方法

有效

• 申請號: 201410243420.2
• 申請日: 2014-06-04
• 公開（公告）號: CN104219279B
• 公開（公告）日: 2018-01-23
• 發明（設計）人: A·R·巴特;P·薩卡爾
• 申請（專利權）人: 國際商業機器公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京市中咨律師事務所11247
• 代理人: 于靜,張亞非

技術領域

本發明的實施例涉及分布式處理，并且更具體地涉及在分布式分析應用中提供高效處理的新數據中心架構。

發明內容

根據本發明的一個實施例，提供了一種分布式處理節點。節點包括多個子節點。每個子節點包括可操作地連接到內存的至少一個處理器核。第一互連裝置可操作地連接節點內的多個子節點中的每一個。第二互連裝置將多個子節點中的每一個可操作地連接到存儲裝置。進程在多個子節點中的第一子節點上運行，所述進程可操作地從第一子節點的內存檢索數據。所述進程向第一子節點的內存詢問所請求的數據。如果在第一子節點的內存中未發現所請求的數據，則所述進程經由第一互連裝置詢問多個子節點中的至少一個其他子節點的內存。如果在其他子節點的內存中發現所請求的數據，則所述進程將所請求的數據拷貝到第一子節點的內存。如果在第一子節點的內存或多個子節點中的至少一個子節點的內存中未發現所請求的數據，則所述進程經由第二互連裝置詢問存儲裝置。

根據本公開的另一個實施例，提供了一種用于操作分布式處理節點的方法和計算機程序產品。在該實施例中，在第一分布式處理節點接收任務。將任務分配給第一分布式處理節點的第一子節點。子節點包括可操作地連接到內存的至少一個處理器核。確定由任務請求的數據。向第一子節點的內存詢問所請求的數據。如果在第一子節點的內存中未發現所請求的數據，則經由第一互連裝置詢問第一分布式處理節點的至少另一個子節點的內存。如果在其他子節點的內存中發現所請求的數據，則將所請求的數據從其他子節點的內存拷貝到第一子節點的內存。如果在第一子節點的內存或第一分布式處理節點的其他子節點的內存中未發現所請求的數據，則經由第二互連裝置詢問存儲裝置。然后在第一子節點的至少一個處理器核上處理所述任務。

附圖說明

圖1是根據本公開的實施例的分布式處理節點的示意圖。

圖2是根據本公開的實施例的分布式處理集群的示意圖。

圖3是根據本公開的實施例的分布式處理節點的示意圖。

圖4是根據本公開的實施例的分布式處理節點的替代性視圖。

圖5是根據本公開的實施例的分布式處理節點的邏輯視圖。

圖6示出操作根據本公開的實施例的分布式處理節點的方法。

具體實施方式

在“大數據”領域中要處理的數據量正以空前的速率增長，同時分析正變得更計算密集。為了支持新出現的分布式處理應用，需要超大規模的內存和提高的計算能力。這樣的應用的復雜性和計算需求導致常規架構中的性能瓶頸。為了解決該需求，單塊式的分布式處理節點可以轉換成多個子節點，其中每個節點包括刀片服務器或其他模塊計算單元。這些刀片服務器可以根據工作負荷需求來供應。給定節點內的多個基于刀片的子節點可以通過超大規模網絡被連接以減輕數據局部性損失。另外，分層文件系統可以管理分布式數據，同時協同內存管理方案可以處理分布式處理節點內的子節點之間的內存。工作負荷趨勢可以用于基于子節點的利用率配置和調諧基于刀片的子節點以實現高資源效率。

現在參考圖1，其示出根據本公開的實施例的分布式處理節點。節點100可以是機架、刀片機柜或支持多個處理子單元的另一計算平臺。在節點100內，是子節點101、102、103、104。在一些實施例中，子節點101、102、103、104包括刀片機柜內的刀片。在一些實施例中，節點內的子節點的數量可以根據給定應用的處理需求而更低或更高。在一些實施例中，動態地添加或從節點中去除子節點以容納波動的需求。每個子節點包括至少一個處理器核111，和內存112。在一些實施例中，處理器核分布在若干離散的處理器上，而在一些實施例中，給定子節點中的所有核都在單個多核處理器內。具有從一個到超過一百個核的處理器在本領域是已知的。在一些實施例中，子節點具有在6和12之間的數量的核。在一些實施例中，每個子節點可以具有從1GB到超過24GB的內存。在一些實施例中，每個內存的一部分被用于I/O緩沖。在其他實施例中，使用固態驅動器(SSD)來代替內存進行I/O緩沖，或者除了內存之外還使用固態驅動器(SSD)進行I/O緩沖。