[發明專利]基于Spark GraphX的社交網絡分析系統及其實現方法

有效

• 申請號: 201911297714.2
• 申請日: 2019-12-17
• 公開（公告）號: CN110727836B
• 公開（公告）日: 2020-04-07
• 發明（設計）人: 閻星娥;楊昆;嚴榮明;張林;袁勇斌;余祥慧;張明星;謝俊
• 申請（專利權）人: 南京華飛數據技術有限公司
• 主分類號: G06F16/901
• 分類號: G06F16/901;G06F16/906;G06F16/182;G06Q50/00
• 代理公司: 南京品智知識產權代理事務所(普通合伙) 32310
• 代理人: 奚曉寧;楊陳慶

1.一種基于Spark GraphX的社交網絡分析系統的實現方法，其特征在于，包括如下步驟：

1）數據存儲模塊進行數據存儲；

從外部接入的海量數據通過數據存儲模塊中設定的入庫程序以預先設定的存儲方式存儲到Hadoop分布式文件系統中；

2）分析請求解析模塊對客戶端輸入提交分析請求；所述分析請求為用戶通過輸入設備輸入的圖計算指標，服務端解析后提交到圖計算模塊；

3）圖計算模塊從步驟1）的數據存儲模塊中獲取數據，通過圖計算接口實現,對圖中點、邊進行全面衡量，計算圖的各項指標算法及進行模型分析；

4）圖數據庫存儲模塊將步驟3）圖計算模塊分析計算的結果數據存儲到圖數據庫，進行展示；

所述圖計算接口的實現過程，包括如下步驟：

3-1）獲取指定節點所屬連通圖，即輸入一個連通圖的集合S，指定節點M，算法接口即可返回節點M所屬的連通圖；

3-2）獲取最大連通圖，即輸入一個連通圖的集合S，算法接口即可返回該集合S中的最大連通圖；

3-3）獲取連通圖的局部聚類系數、度中心性、緊密中心性、節點介數中心性、邊介數中心性和自選中心度，即輸入一個指定的連通圖，計算返回節點以及節點間的各種量化指標，可獲取圖中的核心節點，關鍵邊，關聯到社交網絡里即可獲取社交團體中的核心人物，關鍵的聯絡人；

3-4）獲取連通圖密度，即輸入一個指定的連通圖，算法接口返回該連通圖的聚類系數；

3-5）獲取連通圖任意兩點最短路徑、或指定的部分節點兩兩之間的最短路徑，所述獲取連通圖任意兩點最短路徑即輸入一個指定的連通圖，算法接口返回圖中任意兩個節點之間的最短路徑；

3-6）獲取連通圖偏心距，獲取連通圖偏心距的核心是求多源點的最短路徑；

3-7）獲取連通圖任意節點的N階鄰居節點，即輸入一個指定的連通圖，參數N，算法接口返回連通圖中每個節點的N階鄰居節點；

3-8）獲取社團的模塊度，通過公式： ，計算得出社團模塊度，其中，m取值為圖中的總邊數；取值為社團c中所有內部邊的條數，即兩個端點都在一個社團里面相關聯的邊；取值為社團c中所有端點的度之和。

2.根據權利要求1所述的基于Spark GraphX的社交網絡分析系統的實現方法，其特征在于，步驟3-1）中所述節點所屬連通圖是基于連通的概念，在一個無向圖G中，若從頂點i到頂點j有路徑相連,則稱i和j是連通的；如果G是有向圖，那么連接i和j的路徑中所有的邊都必須是同向的；如果圖任意兩點都是連通的，那么圖被稱作連通圖；如果此圖是有向的則稱為強連通圖；其中i和j為頂點的名稱，現實數據分析中為代表個體的賬號值。

3.根據權利要求1所述的基于Spark GraphX的社交網絡分析系統的實現方法，其特征在于，步驟3-2）中所述的最大連通圖即在一個連通圖集合中包含最多節點與邊的連通圖。

4.根據權利要求1所述的基于Spark GraphX的社交網絡分析系統的實現方法，其特征在于，步驟3-3）中所述的聚類系數指表示一個圖形中節點聚集程度的系數。

5.根據權利要求3所述的基于Spark GraphX的社交網絡分析系統的實現方法，其特征在于，步驟3-3）中所述的度中心性是在社交網絡分析中刻畫節點中心性的直接度量指標，一個節點的節點度越大就意味著這個節點的度中心性越高，該節點在網絡中就越重要。

6.根據權利要求1所述的基于Spark GraphX的社交網絡分析系統的實現方法，其特征在于，步驟3-3）中所述的緊密中心性是指某個節點到達其他節點的難易程度。

7.根據權利要求1所述的基于Spark GraphX的社交網絡分析系統的實現方法，其特征在于，步驟3-3）中所述的節點介數中心性是節點在本步驟中的該連通圖中中心性的度量。