[發(fā)明專利]基于注意力權(quán)重的圖嵌入特征提取方法、裝置及電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202110464041.6
• 申請日: 2021-04-26
• 公開（公告）號: CN113298116A
• 公開（公告）日: 2021-08-24
• 發(fā)明（設(shè)計(jì)）人: 王磊;宋孟楠;蘇綏綏
• 申請（專利權(quán)）人: 上海淇玥信息技術(shù)有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/02;G06N3/08
• 代理公司: 北京清誠知識產(chǎn)權(quán)代理有限公司 11691
• 代理人: 李博

本發(fā)明公開了一種基于注意力權(quán)重的圖嵌入特征提取方法及裝置，所述方法包括：基于用戶通話信息構(gòu)建關(guān)系圖；根據(jù)當(dāng)前節(jié)點(diǎn)與各個鄰節(jié)點(diǎn)的通話信息計(jì)算各個鄰節(jié)點(diǎn)的注意力權(quán)重；所述注意力權(quán)重用于反映當(dāng)前節(jié)點(diǎn)與各個鄰節(jié)點(diǎn)之間通話的親密度；根據(jù)所述注意力權(quán)重對各個鄰節(jié)點(diǎn)進(jìn)行采樣，得到固定個數(shù)的鄰節(jié)點(diǎn)；根據(jù)所述固定個數(shù)的鄰節(jié)點(diǎn)對應(yīng)的向量序列訓(xùn)練圖神經(jīng)網(wǎng)絡(luò)；配置目標(biāo)函數(shù)，通過梯度下降法最小化所述目標(biāo)函數(shù)，得到所述圖神經(jīng)網(wǎng)絡(luò)參數(shù)；將待處理用戶通話信息輸入所述圖神經(jīng)網(wǎng)絡(luò)中，得到圖嵌入特征。本發(fā)明以注意力權(quán)重為依據(jù)對各個鄰節(jié)點(diǎn)進(jìn)行采樣，從而在采樣過程中得到固定排序和個數(shù)的鄰節(jié)點(diǎn)，提高了圖嵌入特征的準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)信息處理技術(shù)領(lǐng)域，具體而言，涉及一種基于注意力權(quán)重的圖嵌入特征提取方法、裝置、電子設(shè)備及計(jì)算機(jī)可讀介質(zhì)。

背景技術(shù)

圖嵌入(Graph Embedding，也叫Network Embedding)通過保留圖結(jié)構(gòu)的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)和節(jié)點(diǎn)信息，將圖結(jié)構(gòu)中頂點(diǎn)表示為低維向量空間，以便用簡單的機(jī)器學(xué)習(xí)算法進(jìn)行處理。因此，圖嵌入成為數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)領(lǐng)域關(guān)注的課題。

圖嵌入可以分為矩陣分解、隨機(jī)游走和深度學(xué)習(xí)。其中，圖嵌入的深度學(xué)習(xí)方法屬于圖神經(jīng)網(wǎng)絡(luò)。由于圖結(jié)構(gòu)是不規(guī)則的，每個圖結(jié)構(gòu)由多個節(jié)點(diǎn)以及連接節(jié)點(diǎn)的邊組成，每個節(jié)點(diǎn)的鄰節(jié)點(diǎn)個數(shù)是不斷變化的，因此，在提取圖嵌入特征時，難以采集到固定排序和數(shù)量的鄰節(jié)點(diǎn)，導(dǎo)致最終提取的圖嵌入特征不夠準(zhǔn)確。

發(fā)明內(nèi)容

本發(fā)明旨在解決無法采集到固定排序和數(shù)量的鄰節(jié)點(diǎn)，影響圖嵌入特征的準(zhǔn)確性的技術(shù)問題。

為了解決上述技術(shù)問題，本發(fā)明第一方面提出一種基于注意力權(quán)重的圖嵌入特征提取方法，所述方法包括：

基于用戶通話信息構(gòu)建關(guān)系圖；

根據(jù)當(dāng)前節(jié)點(diǎn)與各個鄰節(jié)點(diǎn)的通話信息計(jì)算各個鄰節(jié)點(diǎn)的注意力權(quán)重；所述注意力權(quán)重用于反映當(dāng)前節(jié)點(diǎn)與各個鄰節(jié)點(diǎn)之間通話的親密度；

根據(jù)所述注意力權(quán)重對各個鄰節(jié)點(diǎn)進(jìn)行采樣，得到固定個數(shù)的鄰節(jié)點(diǎn)；

根據(jù)所述固定個數(shù)的鄰節(jié)點(diǎn)對應(yīng)的向量序列訓(xùn)練圖神經(jīng)網(wǎng)絡(luò)；

配置目標(biāo)函數(shù)，通過梯度下降法最小化所述目標(biāo)函數(shù)，得到所述圖神經(jīng)網(wǎng)絡(luò)參數(shù)；

將待處理用戶通話信息輸入所述圖神經(jīng)網(wǎng)絡(luò)中，得到圖嵌入特征。

根據(jù)本發(fā)明一種優(yōu)選實(shí)施方式，對于節(jié)點(diǎn)u，有鄰居節(jié)點(diǎn)集合V_u，則第i個鄰居節(jié)點(diǎn)u_i的注意力權(quán)重為：

其中，P_ui是第i個節(jié)點(diǎn)的通話信息。

根據(jù)本發(fā)明一種優(yōu)選實(shí)施方式，所述通話信息包括：通話時長和/或在預(yù)定時間內(nèi)的通話次數(shù)。

根據(jù)本發(fā)明一種優(yōu)選實(shí)施方式，所述根據(jù)所述固定個數(shù)的鄰節(jié)點(diǎn)對應(yīng)的向量序列訓(xùn)練圖神經(jīng)網(wǎng)絡(luò)包括：

將節(jié)點(diǎn)v在第k-1層固定個數(shù)的鄰節(jié)點(diǎn)對應(yīng)的向量序列進(jìn)行聚合，得到節(jié)點(diǎn)v在第k層的聚合向量；

其中，節(jié)點(diǎn)v在第k層的聚合向量為：

其中，σ為非線性激活函數(shù)，為平均節(jié)點(diǎn)v的鄰節(jié)點(diǎn)在第k-1層的向量，為節(jié)點(diǎn)v在第k-1層的向量，W_k和B_k為所述圖神經(jīng)網(wǎng)絡(luò)的參數(shù)。

根據(jù)本發(fā)明一種優(yōu)選實(shí)施方式，所述目標(biāo)函數(shù)為：

其中，為節(jié)點(diǎn)v在第k層的聚合向量的轉(zhuǎn)置，Z_ni為節(jié)點(diǎn)v在第i層的聚合向量。