[發明專利]分布式圖數據處理系統、方法、裝置、設備及存儲介質

在審

• 申請號: 202211010841.1
• 申請日: 2022-08-23
• 公開（公告）號: CN115391341A
• 公開（公告）日: 2022-11-25
• 發明（設計）人: 陳宏智;林鵬;馬林;吳凱;石海洋;劉嘯;許偉;宮大偉;張帥
• 申請（專利權）人: 抖音視界有限公司;臉萌有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2458;G06F16/27;G06F16/901
• 代理公司: 北京開陽星知識產權代理有限公司 11710
• 代理人: 王雪

本公開提供了一種分布式圖數據處理系統、方法、裝置、設備及存儲介質，所述系統包括：采用分布式架構的計算節點，計算節點中包括具有對應關系的計算單元和持久化存儲單元，每個計算單元中部署有存儲管理器。該存儲管理器將圖數據鄰接表劃分為圖數據塊，確定每個圖數據塊對應的鍵值之后，記錄并存儲圖數據塊的鍵值與存儲位置信息之間的對應關系。持久化存儲單元基于存儲位置信息對圖數據塊進行持久化存儲之后，該計算單元可以基于存儲管理器中存儲的圖數據塊的鍵值與存儲位置信息之間的對應關系，從持久化存儲單元中讀取圖數據塊執行圖數據處理任務。本公開利用存儲管理器將圖數據存儲于持久化存儲單元中，能夠滿足圖數據處理對存儲資源的需求。

技術領域

本公開涉及數據處理領域，尤其涉及一種分布式圖數據處理系統、方法、裝置、設備及存儲介質。

背景技術

大數據時代下，社交網絡、物聯網、電子商務等應用產生大量的數據，這些數據組織成圖的格式，形成圖數據。而為了高效的處理規模較大的圖數據，分布式圖數據處理系統被提出。

由于圖數據的數據量較大，對存儲資源要求較高，因此，在基于分布式圖數據處理系統執行圖計算、圖挖掘等圖處理任務的過程中，如何對圖數據進行存儲和管理成為亟需解決的技術問題。

發明內容

為了解決上述技術問題，本公開實施例提供了一種分布式圖數據處理系統。

第一方面，本公開提供了一種分布式圖數據處理系統，所述方法包括：

采用分布式架構的計算節點，所述計算節點包括具有對應關系的計算單元和持久化存儲單元，所述計算單元中部署有存儲管理器；

所述計算單元，用于接收被分配的圖數據處理任務，并獲取所述圖數據處理任務對應的圖數據分片，將所述圖數據分片存儲于對應的圖數據鄰接表；

所述存儲管理器，用于將所述圖數據處理任務對應的圖數據鄰接表劃分為圖數據塊，確定每個圖數據塊對應的鍵值，記錄并存儲圖數據塊的鍵值與所述圖數據塊的存儲位置信息之間的對應關系；其中，所述圖數據塊包括所述圖數據鄰接表中的節點數據和邊數據，所述圖數據塊的存儲位置信息用于獲取所述圖數據塊；

所述持久化存儲單元，用于基于所述存儲位置信息對所述圖數據塊進行持久化存儲，以支持與所述持久化存儲單元對應的計算單元執行所述圖數據處理任務。

一種可選的實施方式中，所述存儲管理器，還用于接收所述圖數據處理任務執行過程中產生的中間狀態數據，將所述中間狀態數據劃分為中間狀態數據塊，并確定所述中間狀態數據塊對應的鍵值，以及對所述鍵值與所述中間狀態數據塊的存儲位置信息之間的對應關系進行存儲；其中，所述中間狀態數據塊的存儲位置信息用于獲取所述中間狀態數據塊；

所述持久化存儲單元，還用于基于所述存儲位置信息對所述中間狀態數據塊進行存儲。

一種可選的實施方式中，所述圖數據處理任務為圖計算任務，所述圖數據處理任務對應的中間狀態數據包括消息數據和中間狀態快照數據，所述中間狀態快照數據包括節點快照數據和消息快照數據，所述消息數據為所述圖數據處理任務執行過程中各計算節點之間傳輸的計算結果數據，所述中間狀態快照數據用于所述圖數據處理任務的恢復執行。

一種可選的實施方式中，所述圖數據處理任務為圖挖掘任務，所述圖數據處理任務對應的中間狀態數據包括所述圖數據處理任務對應的搜索樹中的當前增長層級以及所述當前增長層級中的當前增長位置。

一種可選的實施方式中，所述持久化存儲單元采用內存、持久化存儲介質和硬盤的分層結構；

所述持久化存儲單元，具體用于按照內存、持久化存儲介質和硬盤三級存儲層的優先級降序，將所述圖數據塊存儲至對應的存儲層。

一種可選的實施方式中，所述持久化存儲單元采用內存和持久化存儲介質的分層結構；