[發(fā)明專利]一種融合結構和屬性信息的多模態(tài)深度網(wǎng)絡嵌入方法

在審

• 申請?zhí)枺?/td>: 201811017879.5
• 申請日: 2018-09-03
• 公開（公告）號: CN109376857A
• 公開（公告）日: 2019-02-22
• 發(fā)明（設計）人: 潘理;鄭聰惠;吳鵬
• 申請（專利權）人: 上海交通大學
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 上海旭誠知識產(chǎn)權代理有限公司 31220
• 代理人: 鄭立

1.一種融合結構和屬性信息的多模態(tài)深度網(wǎng)絡嵌入方法，其特征在于，包括如下步驟：

步驟1、t表示第t次迭代，賦初值t＝0；

步驟2、對節(jié)點的原始結構信息和屬性信息進行預處理計算，分別得到高階的結構特征y_i^s(1)和屬性特征y_i^a(1)；

步驟3、基于深度學習方法中的自編碼器，建立進行網(wǎng)絡表示學習的神經(jīng)網(wǎng)絡，所述神經(jīng)網(wǎng)絡包括編碼器部分和解碼器部分，利用所述編碼器部分對輸入的所述結構特征和所述屬性特征進行編碼計算；

步驟4、利用所述解碼器部分對編碼器的輸出向量y_i^(K)進行解碼計算；

步驟5、將解碼器的輸出向量按對應維度分解為重構的結構特征和重構的屬性特征

步驟6、通過預處理的逆過程，計算得到重構的原始鄰接向量與屬性向量

步驟7、當t為0時，基于所述步驟1～6這6步所建立的整個多模態(tài)深度學習過程，把每兩個全連接層的計算看作受限玻爾茲曼機來進行預訓練，也就是為后續(xù)的參數(shù)更新提供一個在最優(yōu)值附近的初始值，得到所有參數(shù)的初始值為

當t不為0時，執(zhí)行步驟8；

步驟8、基于在嵌入空間中保持節(jié)點的結構親近度和屬性親近度L_att計算目標函數(shù)L_mix，其中，結構親近度的目標函數(shù)分為一階結構親近度目標函數(shù)L_1st和二階結構親近度目標函數(shù)L_2nd；

步驟9、計算所述目標函數(shù)L_mix對本發(fā)明中所涉及的參數(shù)的偏導數(shù)；

步驟10、根據(jù)隨機梯度下降法進行參數(shù)更新；

步驟11、t＝t+1；

步驟12、判斷所述目標函數(shù)L_mix是否趨近于收斂，若未收斂，則跳轉至所述步驟2繼續(xù)執(zhí)行所述步驟2及后續(xù)其他步驟，直至收斂；若已收斂，則結束。

2.如權利要求1所述的融合結構和屬性信息的多模態(tài)深度網(wǎng)絡嵌入方法，其特征在于，所述步驟2包括：

步驟2.1、建立描述網(wǎng)絡原始結構信息的鄰接矩陣矩陣中向量代表節(jié)點i對應的鄰接矩陣，矩陣中元素s_i,j代表節(jié)點i和節(jié)點j的連接情況，1代表有邊相連，0代表不存在邊；

步驟2.2、建立描述網(wǎng)絡原始屬性信息的屬性矩陣矩陣中向量代表節(jié)點i的屬性向量，根據(jù)真實網(wǎng)絡中節(jié)點屬性信息的高度非對稱情況，以非對稱形式來記錄節(jié)點的屬性信息，矩陣中元素a_i,j代表節(jié)點i對應的屬性j情況，1代表具有該屬性，0代表不具有該屬性；

步驟2.3、每個節(jié)點的信息都由一個所述鄰接向量和一個所述屬性向量來描述，用全連接的單層神經(jīng)網(wǎng)絡分別對節(jié)點的所述鄰接向量s_i和所述屬性向量a_i進行預處理得到其高階特征，具體方式為，特征向量的每個元素由所述鄰接向量或所述屬性向量的所有元素加權后經(jīng)過非線性激活函數(shù)sigmoid得到，節(jié)點i的結構特征y_i^s(1)和屬性特征y_i^a(1)計算公式如下：

y_i^s(1)＝σ(W_t^s(1)s_i+b_t^s(1))

y_i^a(1)＝σ(W_t^a(1)a_i+b_t^a(1))

其中，W_t^s(1)為所述鄰接向量的權重矩陣，W_t^a(1)為所述屬性向量的權重矩陣，b_t^s(1)為所述鄰接向量的偏置向量，b_t^a(1)為所述屬性向量的偏置向量，σ表示sigmoid函數(shù)。