[發(fā)明專利]提要生成方法、信息生成及信息推薦方法、裝置及設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202010188121.9
• 申請(qǐng)日: 2020-03-17
• 公開（公告）號(hào): CN113407708A
• 公開（公告）日: 2021-09-17
• 發(fā)明（設(shè)計(jì)）人: 林俊旸;趙亮;楊紅霞;周靖人
• 申請(qǐng)（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號(hào): G06F16/34
• 分類號(hào): G06F16/34;G06N3/04;G06Q30/06
• 代理公司: 北京展翼知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11452
• 代理人: 王明遠(yuǎn)

1.一種提要生成方法，包括：

根據(jù)集合中對(duì)象的文本描述信息和圖像描述信息，構(gòu)建由節(jié)點(diǎn)和節(jié)點(diǎn)間的連線組成的關(guān)系圖，所述節(jié)點(diǎn)用于表征取自所述文本描述信息的文本或取自所述圖像描述信息的圖像，所述連線用于表征節(jié)點(diǎn)之間的關(guān)聯(lián)關(guān)系；

使用提要預(yù)測(cè)模型組件對(duì)所述節(jié)點(diǎn)的第一向量化表示和所述節(jié)點(diǎn)之間的關(guān)聯(lián)關(guān)系的第二向量化表示進(jìn)行處理，以得到提要預(yù)測(cè)結(jié)果；

基于所述提要預(yù)測(cè)結(jié)果確定所述集合的提要。

2.根據(jù)權(quán)利要求1所述的提要生成方法，其中，

所述提要預(yù)測(cè)模型組件包括編碼組件和解碼組件，所述編碼組件的輸入為所述第一向量化表示和所述第二向量化表示，所述解碼組件的輸入為所述編碼組件的輸出。

3.根據(jù)權(quán)利要求2所述的提要生成方法，其中，

所述編碼組件包括圖卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，所述圖卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)用于從所述關(guān)系圖中提取特征。

4.根據(jù)權(quán)利要求3所述的提要生成方法，其中，所述圖卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)包括預(yù)定層數(shù)的特征提取單元，相鄰兩層特征提取單元中在后的特征提取單元的輸入依賴于在前的特征提取單元的輸出、所述關(guān)系圖中至少部分節(jié)點(diǎn)的特征向量組成的矩陣以及所述節(jié)點(diǎn)之間的關(guān)聯(lián)關(guān)系的矩陣。

5.根據(jù)權(quán)利要求4所述的提要生成方法，其中，

相鄰兩層特征提取單元之間為殘差連接。

6.根據(jù)權(quán)利要求2所述的提要生成方法，其中，

所述解碼組件包括注意力結(jié)構(gòu)和循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，所述注意力結(jié)構(gòu)用于確定解碼時(shí)所述編碼組件的輸出中不同部分的權(quán)重分配，所述循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)用于基于所述權(quán)重分配生成解碼結(jié)果。

7.根據(jù)權(quán)利要求2所述的提要生成方法，其中，構(gòu)建由節(jié)點(diǎn)和節(jié)點(diǎn)之間的連線組成的關(guān)系圖的步驟包括：

根據(jù)集合中對(duì)象的文本描述信息，構(gòu)建由文本節(jié)點(diǎn)和文本節(jié)點(diǎn)之間的連線組成的第一關(guān)系圖，所述文本節(jié)點(diǎn)用于表征取自所述文本描述信息的文本；

根據(jù)集合中對(duì)象的圖像描述信息，構(gòu)建由圖像節(jié)點(diǎn)和圖像節(jié)點(diǎn)之間的連線組成的第二關(guān)系圖，所述圖像節(jié)點(diǎn)用于表征取自所述圖像描述信息的圖像。

8.根據(jù)權(quán)利要求7所述的提要生成方法，其中，構(gòu)建由文本節(jié)點(diǎn)和文本節(jié)點(diǎn)之間的連線組成的第一關(guān)系圖的步驟包括：

從所述文本描述信息中提取一個(gè)或多個(gè)文本，作為文本節(jié)點(diǎn)；

將出現(xiàn)在同一對(duì)象的文本描述信息中的兩個(gè)文本節(jié)點(diǎn)用連線連接，并且/或者將相關(guān)性大于第一閾值的兩個(gè)文本節(jié)點(diǎn)用連線連接。

9.根據(jù)權(quán)利要求8所述的提要生成方法，還包括：

確定所述連線的權(quán)重，所述權(quán)重與所述兩個(gè)文本節(jié)點(diǎn)所表征的文本出現(xiàn)在相同對(duì)象的文本描述信息中的次數(shù)正相關(guān)，并且/或者所述權(quán)重與所述相關(guān)性正相關(guān)。

10.根據(jù)權(quán)利要求7所述的提要生成方法，其中，構(gòu)建由圖像節(jié)點(diǎn)和圖像節(jié)點(diǎn)之間的連線組成的第二關(guān)系圖的步驟包括：

從所述圖像描述信息中提取一個(gè)或多個(gè)圖像，作為圖像節(jié)點(diǎn)；

將文本描述信息中具有相同文本的兩個(gè)圖像節(jié)點(diǎn)用連線連接，并且/或者將相似度大于第二閾值的兩個(gè)圖像節(jié)點(diǎn)用連線連接。

11.根據(jù)權(quán)利要求10所述的提要生成方法，還包括：

確定所述連線的權(quán)重，所述權(quán)重與所述相同文本的個(gè)數(shù)正相關(guān)，并且/或者所述權(quán)重與所述相似度正相關(guān)。

12.根據(jù)權(quán)利要求7所述的提要生成方法，其中，

所述編碼組件包括第一圖卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和第二圖卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，所述第一圖卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)用于從所述第一關(guān)系圖中提取特征，所述第二圖卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)用于從所述第二關(guān)系圖中提取特征。