[發明專利]基于分布式系統獲取關系網絡的節點序列的方法和裝置

有效

• 申請號: 201811278432.3
• 申請日: 2018-10-30
• 公開（公告）號: CN109614397B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 楊新星;周俊;李小龍
• 申請（專利權）人: 創新先進技術有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2458;G06F16/27
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 張靜娟;周良玉

本說明書實施例提供一種基于分布式系統獲取關系網絡的節點序列的方法和裝置，所述方法包括：獲取多個節點中的多個第一節點各自具有的多個出度值，并將獲取的數據發送給多個服務器中的至少一個第一指定服務器；從多個服務器接收累加矩陣；獲取至少一個第一節點各自的各個相鄰節點的節點標識和類型；計算至少一個第一節點各自的各個相鄰節點的節點標識在邊向量中的排列位置，以獲取邊向量的部分元素，并將邊向量的部分元素發送給多個服務器中的至少一個第二指定服務器；從多個服務器接收所述邊向量；以及根據預定路徑順序地分別隨機獲取多個節點標識作為所述節點序列，其中，所述預定路徑限定所述多個節點標識分別對應的各個節點的類型。

技術領域

本說明書實施例涉及機器學習技術領域，更具體地，涉及一種基于分布式系統獲取關系網絡的節點序列的方法和裝置。

背景技術

在互聯網的推薦場景中，有大量的圖計算場景，比如用戶個性化推薦任務：基于用戶的歷史行為，建立起關系網絡。根據關系網絡，可通過隨機游走算法確定關系網絡的節點序列，挖掘出用戶可能想要或者購買的商品，提高用戶的滿意度和購買意愿。因此，隨機游走算法作為圖計算最基礎和重要的一環，在數據挖掘中起到了關鍵性的作用。在現有技術中，隨機游走算法通常在單機中執行，其中，一種隨機游走算法將用戶和商品當作相同的節點去處理，形成單一的網絡。然而，隨著互聯網的發展，用戶和商品數量都在爆炸式增長，其規模甚至達到幾十億的級別，單機版的元路徑隨機游走算法已經不能滿足如今的需求。

因此，需要一種更有效的獲取關系網絡的節點序列的方案。

發明內容

本說明書實施例旨在提供一種更有效的基于分布式系統獲取關系網絡的節點序列的方案，以解決現有技術中的不足。

為實現上述目的，本說明書一個方面提供一種基于分布式系統獲取關系網絡的節點序列的方法，所述分布式系統包括多個服務器和多個工作機，所述關系網絡包括相互連接的多個節點，其中，每個節點具有節點標識、至少一種類型中的一種類型、與各個類型分別對應的多個出度值、以及相鄰節點，所述方法在所述多個工作機中的第一工作機中執行，包括：

獲取所述多個節點中的多個第一節點各自具有的多個出度值，并將獲取的數據發送給所述多個服務器中的至少一個第一指定服務器；

從所述多個服務器接收累加矩陣，所述累加矩陣示出：對于所述多個節點中的每個節點，對于所述至少一種類型中的每一種類型，節點標識在該節點之前的各個節點的出度值之和；

獲取所述至少一個第一節點各自的各個相鄰節點的節點標識和類型；

基于所述至少一個第一節點各自的各個相鄰節點的節點標識和類型、及所述累加矩陣，計算所述至少一個第一節點各自的各個相鄰節點的節點標識在邊向量中的排列位置，以獲取所述邊向量的部分元素，并將所述邊向量的部分元素發送給所述多個服務器中的至少一個第二指定服務器，其中，所述邊向量包括與所述至少一種類型分別對應的至少一個部分，每個所述部分中順序排列有所述多個節點的各自的相應類型的相鄰節點的節點標識；

從所述多個服務器接收所述邊向量；以及

基于所述多個節點各自的類型、所述累加矩陣和所述邊向量，根據預定路徑順序地分別隨機獲取多個節點標識作為所述節點序列，其中，所述預定路徑限定所述多個節點標識分別對應的各個節點的類型。

在一個實施例中，順序地分別隨機獲取多個節點標識作為所述節點序列包括，根據預定路徑，從所述多個節點中的第一預定類型的多個節點各自的節點標識中隨機獲取一個節點標識，作為節點序列的第一節點標識。

在一個實施例中，順序地分別隨機獲取多個節點標識作為所述節點序列包括：

根據預定路徑，基于所述累加矩陣，獲取所述第一節點標識對應的節點的第二預定類型的出度值；

基于所述出度值，隨機獲取第一整數；以及