[發明專利]分離可組合式架構下的圖計算工作集優化實現方法及系統

有效

• 申請號: 202110209494.4
• 申請日: 2021-02-24
• 公開（公告）號: CN112817767B
• 公開（公告）日: 2021-11-16
• 發明（設計）人: 李超;王靖;汪陶磊;朱浩瑾;過敏意
• 申請（專利權）人: 上海交通大學
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/54
• 代理公司: 上海交達專利事務所 31201
• 代理人: 王毓理;王錫麟

一種分離可組合式架構下的圖計算工作集優化實現方法及系統，以數據段為單位，對待處理的圖計算任務進行數據段識別；將圖計算數據段按照四象限法劃分為四大集合，進而根據讀寫訪問熱度進一步將四個集合劃分為熱工作集，即不可遷移工作集和冷工作集，即可遷移工作集；自動化調節可遷移工作集的本地與遠程比例，根據圖計算遍歷過程中邊數據只讀不寫的特性，向遠程內存階段進行單邊遠內存訪問并讀回索引所對應的數據塊，實現靈活地將圖計算任務的部分運行時數據拓展到遠程內存資源。

技術領域

本發明涉及的是一種分布式數據處理領域的技術，具體是一種分離可組合式架構下的圖計算工作集優化實現方法及系統。

背景技術

在現有的內存資源緊缺的分離可組合式內存架構下，人們希望將內存容量消耗大的應用如圖計算等工作拓展到遠程內存。現有的分布式圖計算技術主要關注于各獨立服務器上的負載均衡和并行度，無法在應用層解耦并利用分離可組合式架構中明確功能分離的各獨立硬件部件資源如運算資源與內存資源，無法解決內存訪問敏感的應用在遠程內存使用比例升高的過程中性能急速下降的問題。

發明內容

本發明針對現有技術存在的上述不足，提出一種分離可組合式架構下的圖計算工作集優化實現方法及系統，可以靈活地將圖計算任務的部分運行時數據拓展到遠程內存資源。

本發明是通過以下技術方案實現的：

本發明涉及一種分離可組合式架構下的圖計算工作集優化實現方法，以數據段為單位，對待處理的圖計算任務進行數據段識別；將圖計算數據段按照四象限法劃分為四大集合，進而根據讀寫訪問熱度進一步將四個集合劃分為熱工作集，即不可遷移工作集和冷工作集，即可遷移工作集；自動化調節可遷移工作集的本地與遠程比例，根據圖計算遍歷過程中邊數據只讀不寫的特性，向遠程內存節點單邊發送內存訪問請求索引，并在遠程內存中單邊讀回索引所對應的數據塊，實現優化協作。

所述的分離可組合式架構是指：數據中心中多臺服務器CPU與內存通過網絡連接的方式進行靈活的組合搭配的架構，其中：執行計算任務的服務器作為計算節點(ComputeNode)，執行內存訪問的服務器作為內存結點(Memory Node)。

所述的識別是指：解析并得到圖計算任務中各項源圖數據、中間表述數據、結果保留數據等所有運算過程中需要的圖數據段類別，具體包括：圖節點數據Vertex、節點標號V_id、屬性Attribute、圖計算專用中間變量節點集如Frontier、Parent、中間變量、指針變量Pointer、迭代器Iterator、隊列Queue、邊的編號E_id、邊的偏移量Offset、邊的權重Weight、非活躍點集Inactive_v、文件讀取緩存Cache_fifo。

所述的四象限法劃分是指：根據識別得到的圖數據段的內存頁讀寫頻率，進行四象限法的工作集劃分，具體為：以橫坐標代表寫入頻率，縱坐標代表讀取頻率，以右上為正，第一象限包括讀多寫多集合，第二象限為讀多寫少集合，第三象限為讀少寫少集合，第四象限為讀少寫多集合。

所述的讀寫是指：任一數據段從內存中讀取和數據寫入到內存中的操作，該操作的總頻次和執行時的帶寬占用之乘積即內存成本，當若當前數據段比整體應用的所計算的內存成本平均值高，則視為多，否則為少。

所述的四象限包括：

①第一象限：讀多寫多的數據段集合，包括圖節點數據Vertex、節點標號V_id，屬性Attribute，圖計算專用中間變量節點集如Frontier，Parent；

②第二象限：讀多寫少的數據段集合，包括邊的編號E_id，邊的偏移量Offset，邊的權重Weight，與邊數據相關的中間數據.；

③第三象限：讀少寫少的數據段集合，包括非活躍點集Inactive_v，文件讀取緩存Cache_fifo，一次性使用的數據段；