[發明專利]分布式圖嵌入方法、裝置、設備及系統

有效

• 申請號: 201810975295.2
• 申請日: 2018-08-24
• 公開（公告）號: CN109344295B
• 公開（公告）日: 2020-05-05
• 發明（設計）人: 石磊磊
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F16/901
• 分類號: G06F16/901
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 林祥

本說明書實施例提供一種分布式圖嵌入方法、裝置、設備及系統，圖數據結構至少分布于兩個計算節點，所述方法包括：在利用預設采樣算法對圖數據結構進行路徑采樣時，將當前采樣頂點的標識和當前嵌入向量加入預定義的消息數據結構，在消息數據結構的數據長度達到詞向量算法所定義的窗口長度時，利用所述詞向量算法計算更新后的消息數據結構中各采樣頂點的嵌入向量的更新梯度；基于更新后的消息數據結構中的標識，將各更新梯度分別發送至相應頂點，并利用所述更新梯度對歸屬當前計算節點的采樣頂點的當前嵌入向量進行更新；達到預設收斂條件后，將圖數據結構中各頂點的最終嵌入向量，構成圖嵌入矩陣。

技術領域

本說明書涉及數據處理領域，尤其涉及分布式圖嵌入方法、裝置、設備及系統。

背景技術

圖數據結構是一種抽象程度高，表達能力強的數據結構：頂點(又可以稱為節點)可用于表示現實世界的實體，而實體之間的關系則通過頂點之間的邊來體現。常用的圖數據結構有社交網絡、商品網絡、知識圖譜、用戶-商品網絡等等。Graph embedding(圖嵌入)是一種圖計算的方法，是學習頂點的一種連續、稠密、低維的向量表示，可以通過向量的關系來衡量頂點之間的關系。例如，采用Deep Walk、node2vec等圖嵌入學習算法，可以生成由圖數據結構中各頂點的向量構成的圖嵌入矩陣。圖嵌入技術因為其結果的通用性，經常被用作特征提取，進一步將結果輸入給下游任務/項目。如社交媒體通過提取用戶的圖嵌入特征進行反作弊檢測；電商通過商品的圖嵌入特征優化商品推薦任務；內容分發商通過文章的圖嵌入特征優化內容推薦任務等。

然而，對圖數據結構進行大規模圖嵌入計算時，由于會將圖嵌入矩陣加載到內存進行計算，而圖嵌入矩陣的大小由圖數據結構中頂點數目和每個向量大小決定，在頂點數目較多、向量維度較大時，圖嵌入矩陣需要占用大量內存，常常導致內存溢出。

發明內容

為克服相關技術中存在的問題，本說明書提供了分布式圖嵌入方法、裝置、設備及系統。

根據本說明書實施例的第一方面，提供一種分布式圖嵌入方法，圖數據結構至少分布于兩個計算節點，所述方法包括：

在利用預設采樣算法對圖數據結構進行路徑采樣時，將當前采樣頂點的標識和當前嵌入向量加入預定義的消息數據結構，所述消息數據結構中記錄有采樣過程中采樣頂點的標識和當前嵌入向量、且所述消息數據結構由上一采樣頂點所在計算節點傳遞而獲得；

在消息數據結構的數據長度達到詞向量算法所定義的窗口長度時，利用所述詞向量算法計算更新后的消息數據結構中各采樣頂點的嵌入向量的更新梯度；

基于更新后的消息數據結構中的標識，將各更新梯度分別發送至相應頂點，并利用所述更新梯度對歸屬當前計算節點的采樣頂點的當前嵌入向量進行更新；

達到預設收斂條件后，將圖數據結構中各頂點的最終嵌入向量，構成圖嵌入矩陣。

在一個實施例中，圖數據結構中頂點的當前嵌入向量存儲于頂點所在計算節點的圖頂點數據中。

在一個實施例中，所述方法還包括：

在消息數據結構的數據長度未達到詞向量算法所定義的窗口長度時，利用預設采樣算法對與所述當前采樣頂點相鄰且連接的頂點進行采樣，將更新后的消息數據結構發送至所確定的采樣頂點所在計算節點。

在一個實施例中，所述消息數據結構的數據長度上限值為窗口長度，所述方法還包括：

在消息數據結構的數據長度達到或大于詞向量算法所定義的窗口長度時，刪除消息數據結構中加入時間最早的采樣頂點的標識和當前嵌入向量。

在一個實施例中，所述方法還包括：

基于預設任務利用圖嵌入矩陣構建訓練樣本，并利用所構建的訓練樣本對預設模型進行訓練，獲得用于處理預設任務的模型。