[發明專利]一種基于圖神經網絡的大規模數據可視化降維方法

有效

• 申請號: 202011258545.4
• 申請日: 2020-11-12
• 公開（公告）號: CN112241478B
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 楊易揚;張景彬;任成森;鞏志國;蔡瑞初;郝志峰;陳炳豐
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06F16/904
• 分類號: G06F16/904;G06N3/04;G06N3/084
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 張金福

1.一種基于圖神經網絡的大規模數據可視化降維方法，其特征在于，包括：

S1.獲取高維數據集，對高維數據集進行預處理；

所述高維數據集包括詞向量數據集和圖形像素數據集，設高維數據集表示為D＝{D₁，D₂，...D_i，...，D_N}，D∈R^d，R表示實數，D_i表示第i個維度為d的向量，對高維數據集進行的預處理操作包括正則化處理；

S2.構建高維數據集的異構圖；

步驟S2所述構建高維數據集的異構圖的過程包括：利用高維數據集中已存在的異構圖信息直接組成異構圖或高維數據集中不存在異構圖信息，構建高維數據集的KNN圖；

所述利用高維數據集中已存在的異構圖信息直接組成異構圖的表達式為：

G_H＝(E_H，V_H)

其中，G_H表示高維數據集的異構圖，V_H表示異構圖的節點集合，V_H中第i個節點v_i對應的高維數據集的第一個向量D₁；E_H表示異構圖的邊，若節點v_i與節點v_j在異構圖中存在邊，則(v_i，v_j)∈E_H；

S3.構建GNN圖神經網絡模型，將高維數據集及異構圖作為輸入，輸出降維后的可視化向量；

S4.將高維數據集劃分為測試集T和訓練集S，構建圖神經網絡模型的損失函數，利用訓練集S訓練GNN圖神經網絡模型；

步驟S4所述構建圖神經網絡模型的損失函數面向的算法包括于t-SNE算法、UMAP算法及LargeVis算法，通過GNN圖神經網絡模型f_GNN(G_H，D，W)得到與輸入高維數據集D＝{D₁，D₂，...，D_N}對應降維后的y維可視化向量D′＝{D′₁，D′₂，...，D′_N}，其中D′∈R^y，y＝2或3；

面向t-SNE算法構建的第一損失函數OF_t-SNE滿足：

其中，q_ij為中間概率，且為整數；

構建異構圖的過程中獲得高維數據集的概率分布P，表示為：

其中，p_ij表示節點D_i的附近出現節點D_j的概率；k，l表示不同于i、j的數值編號；

面向UMAP算法構建的第二損失函數OF_UMAP滿足：

其中，β、u均為大于零的實數；

面向LargeVis算法構建的第三損失函數OF_LargeVis滿足：

其中，E_H為異構圖的邊集合，δ為大于0的實數，表示在選定的數據節點D_j的情況下，節點D_k被選中的概率；

利用訓練集S訓練GNN圖神經網絡模型的過程為：

S41.基于第一損失函數OF_t-SNE、第二損失函數OF_UMAP及第三損失函數OF_LargeVis，確定損失函數值OF；

S42.利用神經網絡殘差反向傳播技術，計算GNN圖神經網絡模型中的所有節點殘差，更新網絡中的參數W＝{w₁，w₂，...，w_H}；

S43.存在收斂值E，判斷損失函數值OF是否滿足：

|OF-E|≤ε是否成立，ε表示足夠小的正數，若是，訓練結束；否則，返回步驟S41；

S5.GNN圖神經網絡模型訓練完成后，利用測試集T對圖神經網絡模型進行測試，確定最終的可視化降維模型；

步驟S5所述利用測試集T對圖神經網絡模型進行測試的過程包括：

S51.確認高維數據集中的標簽信息；

S52.將測試集T＝{T₁，T₂，...，T_N′}通過訓練好的GNN圖神經網絡模型進行降維，得到降維后的測試集T′＝{T′₁，T′₂，...，T′_N′}；

S53.利用k鄰近鄰居分類算法測試數據集T′的可視化效果：

確定測試節點i的k鄰近鄰居集合N(T′_i)＝{T′_i1，T′_i2，...，T′_ik}；

通過k鄰近鄰居集合N(T′_i)計算出節點T′_i得到標簽，判斷是否與節點T′_i的原分類標簽是否一致，若是，GNN圖神經網絡模型為最終的可視化降維模型；否則，返回S4繼續訓練GNN圖神經網絡模型；

步驟S5所述利用測試集T對圖神經網絡模型進行測試的過程還包括高維數據集中未含標簽信息的測試；過程為：

S501.將測試集T＝{T₁，T₂，...，T_N′}通過訓練好的GNN圖神經網絡模型進行降維，得到降維后的測試集T′＝{T′₁，T′₂，...，T′_N′}；

S502.設測試集T＝{T₁，T₂，...，T_N′}的秩為ρ，計算滿足：

ρ_ij＝|{k：δ_ik＜δ_ijor(δ_ik＝δ_ijand?k＜j)}|

δ_ij＝||T_i-T_j||²

其中，|·|表示集合的基數，δ_ij表示降維前高維測試集節點i與高維節點j的距離；

降維后的測試集T′＝{T′₁，T′₂，...，T′_N′}的秩為r，計算滿足：

d_ij＝||T′_i-T′_j||²

其中，d_ij表示低維節點i與低維節點j的距離；

S503.將降維前高維測試集的秩為ρ與降維后的秩r對比，利用co-ranking技術確認降維前高維測試集與降維后數據的相似度，判斷相似度是否滿足K標準，若是，GNN圖神經網絡模型為最終的可視化降維模型；否則，返回S4繼續訓練GNN圖神經網絡模型；

S6.將待降維的大規模數據集輸入可視化降維模型，進行可視化降維。

2.根據權利要求1所述的基于圖神經網絡的大規模數據可視化降維方法，其特征在于，步驟S3所述的構建GNN圖神經網絡模型的過程為：

S31.確定GNN圖神經網絡模型的超參數，包括隱藏層的維度h、神經網絡的深度H及學習速率γ；

S32.將高維數據集D及高維數據集的異構圖G_H＝(E_H，V_H)作為GNN圖神經網絡模型的輸入，選定神經網絡模型參數W＝{w₁，w₂，...，w_H}，其中，w_v表示GNN圖神經網絡第v層隱藏層的可訓練參數；

S33.構建出GNN圖神經網絡模型f_GNN(G_H，D，W)。