[發明專利]一種數據處理的方法、裝置及系統

有效

• 申請號: 201410191495.0
• 申請日: 2014-05-07
• 公開（公告）號: CN103970860B
• 公開（公告）日: 2017-05-24
• 發明（設計）人: 周暢;高軍;孫彬彬
• 申請（專利權）人: 華為技術有限公司;北京大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京中博世達專利商標代理有限公司11274
• 代理人: 申健

技術領域

本發明涉及通信領域，尤其涉及一種數據處理的方法、裝置及系統。

背景技術

隨著社交網絡、萬維網絡、知識圖譜、生物信息網絡等應用的發展，圖數據規模日益增大，導致大規模圖數據的處理成為焦點。現有技術通常采用基于BSP(Bulk Synchronous Process，塊同步處理)模型的分布式圖數據處理系統來實現對大規模圖數據的處理。

在現有的基于BSP模型的分布式圖數據處理系統中，計算節點將分配給自身的圖數據分成多次迭代來進行處理，在每一次迭代中，計算節點首先從消息庫中獲取上一次迭代中其他計算節點發送至該計算節點的所有消息，以及從節點庫中獲取該計算節點的當前值，然后調用用戶預設的函數信息，從而根據該計算節點的當前值及用戶預設的函數信息來更新該計算節點的當前值，或者，根據獲取到的所有消息、該計算節點的當前值及用戶預設的函數信息來更新該計算節點的當前值并將更新后的當前值發送至與該計算節點相關聯的其他計算節點。

但在上述實現方法中，計算節點需要將上一次迭代中其他計算節點發送至該計算節點的所有消息均存儲在消息庫中，以便在本次迭代中通過其他計算節點發送的所有消息來更新此計算節點的當前值。這樣，當圖數據規模較大時，將其他計算節點發送的所有消息均緩存在消息庫，會占用較大的內存空間，而分布式圖數據處理系統的內存資源有限，若將其他節點發送的所有消息均緩存在消息庫，可能導致其他數據無法存儲在消息庫中，從而降低了對分布式圖數據處理系統的內存資源的利用率。

發明內容

本發明的實施例提供一種數據處理的方法、裝置及系統，用于提高對分布式圖數據處理系統的內存資源的利用率。

為達到上述目的，本發明的實施例采用如下技術方案：

第一方面，本發明實施例提供了一種計算節點，包括：接收單元，用于接收第二計算節點發送的第一報告消息；其中，所述第一報告消息攜帶所述第二計算節點處理的第一圖頂點的第一值，及與所述計算節點處理的與所述第一圖頂點關聯的第二圖頂點的頂點標識；處理單元，用于確定所述第二圖頂點的狀態信息是否為已發送狀態；其中，所述第二圖頂點的狀態信息用于記錄所述計算節點是否向所述第二計算節點發送所述第二圖頂點的消息的狀態；所述處理單元，還用于在確定所述第二圖頂點的狀態信息為已發送狀態時，獲取所述第二圖頂點的第二值；其中，所述第二圖頂點的第二值為所述計算節點向所述第二計算節點發送的值；所述處理單元，還用于根據所述第二圖頂點的第二值及第一規則，或者根據所述第一圖頂點的第一值，所述第二圖頂點的第二值及第一規則更新所述第二圖頂點的第二值；所述處理單元，還用于刪除所述第一報告消息。

在第一方面的第一種可能的實現方式中，所述處理單元，具體用于在確定圖數據與所述第一圖頂點的第一值無關時，根據所述第二圖頂點的第二值及第一規則更新所述第二圖頂點的第二值；所述處理單元，具體用于在確定所述圖數據與所述第一圖頂點的第一值有關時，根據所述第一圖頂點的第一值，所述第二圖頂點的第二值及第一規則更新所述第二圖頂點的第二值。

結合第一方面，或第一方面的第一種可能的實現方式，在第一方面的第二種可能的實現方式中，還包括：所述處理單元，還用于在確定所述第二圖頂點的狀態信息為未發送狀態時，確定所述第二圖頂點的第一值；發送單元，用于向所述第二計算節點發送第二報告消息，并將所述第二圖頂點的狀態信息標記為已發送狀態；其中，所述第二報告消息攜帶有所述第二圖頂點的第一值及所述第一圖頂點的頂點標識；所述處理單元，還用于根據所述第二圖頂點的第一值及第一規則，或者根據所述第一圖頂點的第一值，所述第二圖頂點的第一值及第一規則更新所述第二圖頂點的第一值。

結合第一方面的第二種可能的實現方式，在第一方面的第三種可能的實現方式中，所述處理單元，具體用于在確定所述圖數據與所述第一圖頂點的第一值無關時，根據所述第二圖頂點的第一值及第一規則更新所述第二圖頂點的第一值；所述處理單元，具體用于在確定所述圖數據與所述第一圖頂點的第一值有關時，根據所述第一圖頂點的第一值，所述第二圖頂點的第一值及第一規則更新所述第二圖頂點的第一值。

結合第一方面，或第一方面的第一至第三任一種可能的實現方式，在第一方面的第四種可能的實現方式中，還包括：存儲單元，用于存儲所述第二圖頂點的列表；所述列表記錄有所述第二圖頂點的第二值及所述第二圖頂點的當前值。