[發(fā)明專利]基于Spark的節(jié)點相似度計算方法、裝置及終端

有效

• 申請?zhí)枺?/td>: 201810811936.0
• 申請日: 2018-07-23
• 公開（公告）號: CN110751161B
• 公開（公告）日: 2023-08-22
• 發(fā)明（設(shè)計）人: 魏紅亮
• 申請（專利權(quán)）人: 阿里巴巴（中國）有限公司
• 主分類號: G06F18/22
• 分類號: G06F18/22
• 代理公司: 上海知錦知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 31327
• 代理人: 潘彥君

1.一種基于Spark的節(jié)點相似度計算方法，其特征在于，包括：

獲取待處理的二部圖中的節(jié)點數(shù)據(jù)，對所述節(jié)點數(shù)據(jù)進(jìn)行序列化處理；

根據(jù)處理后的所述節(jié)點數(shù)據(jù)生成概率轉(zhuǎn)移矩陣和相似度矩陣，其中，所述二部圖中包括多個節(jié)點，所述概率轉(zhuǎn)移矩陣包括多個節(jié)點的概率，所述概率為二部圖中邊的一端節(jié)點隨機游走到另一端節(jié)點的概率，所述相似度矩陣包括多個節(jié)點與自身的相似度；

對所述概率轉(zhuǎn)移矩陣和相似度矩陣進(jìn)行多級自適應(yīng)分片迭代處理，獲得中間結(jié)果矩陣，其中，所述多級自適應(yīng)分片迭代處理，包括：將矩陣按照預(yù)設(shè)的矩陣行和/或矩陣列進(jìn)行迭代切割處理，獲得多個矩陣分片；

將所述中間結(jié)果矩陣與預(yù)先設(shè)置的衰減系數(shù)做乘積運算，獲得最終結(jié)果矩陣；

根據(jù)所述最終結(jié)果矩陣獲得節(jié)點之間的相似度。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，對所述概率轉(zhuǎn)移矩陣和相似度矩陣進(jìn)行多級自適應(yīng)分片迭代處理，獲得中間結(jié)果矩陣，包括：

對所述概率轉(zhuǎn)移矩陣和相似度矩陣進(jìn)行多級自適應(yīng)分片迭代處理；

計算處理后的所述概率轉(zhuǎn)移矩陣的轉(zhuǎn)置與相似度矩陣的乘積，獲得過渡矩陣；

根據(jù)所述過渡矩陣和相似度矩陣獲得中間結(jié)果矩陣。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，根據(jù)所述過渡矩陣和相似度矩陣獲得中間結(jié)果矩陣，包括：

對所述過渡矩陣和相似度矩陣進(jìn)行多級自適應(yīng)分片迭代處理；

計算處理后的所述過渡矩陣與相似度矩陣的乘積，獲得中間結(jié)果矩陣。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述最終結(jié)果矩陣獲得節(jié)點之間的相似度，包括：

將所述最終結(jié)果矩陣的對角線置為1；

對所述最終結(jié)果矩陣中的相似對中的節(jié)點進(jìn)行反序列化處理，獲得節(jié)點之間的相似度。

5.根據(jù)權(quán)利要求1-4中任意一項所述的方法，其特征在于，在獲得中間結(jié)果矩陣之前，所述方法還包括：

獲取對所述概率轉(zhuǎn)移矩陣和相似度矩陣進(jìn)行多級迭代自適應(yīng)分片處理的迭代次數(shù)；

若所述迭代次數(shù)大于或等于預(yù)設(shè)的次數(shù)閾值，則停止對所述概率轉(zhuǎn)移矩陣和相似度矩陣進(jìn)行多級迭代自適應(yīng)分片處理；或者，

若所述迭代次數(shù)小于預(yù)設(shè)的次數(shù)閾值，則繼續(xù)對所述概率轉(zhuǎn)移矩陣和相似度矩陣進(jìn)行多級迭代自適應(yīng)分片處理。

6.一種基于Spark的節(jié)點相似度計算裝置，其特征在于，包括：

獲取模塊，用于獲取待處理的二部圖中的節(jié)點數(shù)據(jù)，并對所述節(jié)點數(shù)據(jù)進(jìn)行序列化處理；

生成模塊，用于根據(jù)處理后的所述節(jié)點數(shù)據(jù)生成概率轉(zhuǎn)移矩陣和相似度矩陣，其中，所述二部圖中包括多個節(jié)點，所述概率轉(zhuǎn)移矩陣包括多個節(jié)點的概率，所述概率為二部圖中邊的一端節(jié)點隨機游走到另一端節(jié)點的概率，所述相似度矩陣包括多個節(jié)點與自身的相似度；

處理模塊，用于對所述概率轉(zhuǎn)移矩陣和相似度矩陣進(jìn)行多級自適應(yīng)分片迭代處理，獲得中間結(jié)果矩陣；

運算模塊，用于將所述中間結(jié)果矩陣與預(yù)先設(shè)置的衰減系數(shù)做乘積運算，獲得最終結(jié)果矩陣；

確定模塊，用于根據(jù)所述最終結(jié)果矩陣獲得節(jié)點之間的相似度；

其中，所述處理模塊，具體用于：將矩陣按照預(yù)設(shè)的矩陣行和/或矩陣列進(jìn)行迭代切割處理，獲得多個矩陣分片。

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述處理模塊，用于：

對所述概率轉(zhuǎn)移矩陣和相似度矩陣進(jìn)行多級自適應(yīng)分片迭代處理；

計算處理后的所述概率轉(zhuǎn)移矩陣的轉(zhuǎn)置與相似度矩陣的乘積，獲得過渡矩陣；

根據(jù)所述過渡矩陣和相似度矩陣獲得中間結(jié)果矩陣。

8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述處理模塊，用于：

對所述過渡矩陣和相似度矩陣進(jìn)行多級自適應(yīng)分片迭代處理；

計算處理后的所述過渡矩陣與相似度矩陣的乘積，獲得中間結(jié)果矩陣。