[發明專利]摘要生成方法、裝置、電子設備及存儲介質

在審

• 申請號: 202011593291.1
• 申請日: 2020-12-29
• 公開（公告）號: CN112613293A
• 公開（公告）日: 2021-04-06
• 發明（設計）人: 徐楠;王俊艷;張西娜;孔慶超;吳曉飛;曹家;曲寶玉;羅引;王磊
• 申請（專利權）人: 北京中科聞歌科技股份有限公司
• 主分類號: G06F40/194
• 分類號: G06F40/194;G06K9/62
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種摘要生成方法，其特征在于，包括：

獲取摘要文本信息；

分別確定預設圖像集中至少一個圖像與所述摘要文本信息的圖文相似度；

分別提取所述至少一個圖像中的圖像文本信息，并確定各所述圖像的圖像文本信息與所述摘要文本信息的文本相似度；

基于各所述圖像的圖文相似度和文本相似度確定與所述摘要文本信息相匹配的摘要圖像；

基于所述摘要圖像和所述摘要文本信息形成目標摘要。

2.根據權利要求1所述的方法，其特征在于，所述分別確定預設圖像集中至少一個圖像與所述摘要文本信息的圖文相似度，包括：

根據所述摘要文本信息的文本類型，調用所述文本類型對應的圖文匹配模塊，將各所述圖像與所述摘要文本信息輸入至所述圖文匹配模塊中，基于所述圖文匹配模塊輸出的識別結果確定所述圖文相似度。

3.根據權利要求1所述的方法，其特征在于，所述方法還包括：

分別將所述至少一個圖像與預先設置的非相關圖文數據進行匹配，確定各圖像與所述非相關圖文數據的非相關相似度；

相應的，所述基于各所述圖像的圖文相似度和文本相似度確定與所述摘要文本信息相匹配的摘要圖像，包括：

基于所述各所述圖像的圖文相似度、文本相似度以及非相關相似度確定與所述摘要文本信息相匹配的摘要圖像。

4.根據權利要求3所述的方法，其特征在于，所述預先設置的非相關圖文數據包括至少一個非相關圖像和至少一個非相關文本信息；

相應的，所述分別將所述至少一個圖像與預先設置的非相關圖文數據進行匹配，確定各圖像與所述非相關圖文數據的非相關相似度，包括：

分別將所述至少一個圖像與各所述非相關圖像進行圖像匹配，確定非相關圖像相似度；

分別將所述至少一個圖像中的文本信息與各所述非相關文本信息進行文本匹配，確定非相關文本相似度。

5.根據權利要求3所述的方法，其特征在于，所述基于所述各所述圖像的圖文相似度、文本相似度以及非相關相似度確定與所述摘要文本信息相匹配的摘要圖像，包括：

對各圖像的所述圖文相似度、所述文本相似度以及所述非相關相似度進行加權計算，確定各所述圖像的相似指數，其中，所述圖文相似度和所述文本相似度的權重為正數權重，所述非相關相似度的權重為負數權重；

將所述相似指數最大的圖像確定為與所述摘要文本信息相匹配的摘要圖像。

6.根據權利要求1所述的方法，其特征在于，所述獲取摘要文本信息，包括：

獲取初始文本信息，識別所述初始文本信息中的摘要句和所述摘要句的重要指數；

基于摘要字數條件、各所述摘要句和所述摘要句的重要指數形成所述摘要文本信息。

7.根據權利要求6所述的方法，其特征在于，所述識別所述初始文本信息中的摘要句和所述摘要句的重要指數，包括：

確定所述初始文本信息的首段文本是否滿足預設字數條件，若是，則將所述首段文本確定為摘要文本信息的部分文本；

對于所述初始文本信息中除所述首段文本之外的文本信息，識別摘要句和所述摘要句的重要指數；

相應的，所述基于摘要字數條件、各所述摘要句和所述摘要句的重要指數形成所述摘要文本信息，包括：

基于所述首段文本、所述摘要字數條件、各所述摘要句和所述摘要句的重要指數形成所述摘要文本信息。

8.一種摘要生成裝置，其特征在于，包括：

摘要文本信息獲取模塊，用于獲取摘要文本信息；

圖文相似度確定模塊，用于分別確定預設圖像集中至少一個圖像與所述摘要文本信息的圖文相似度；

文本相似度確定模塊，用于分別提取所述至少一個圖像中的圖像文本信息，并確定各所述圖像的圖像文本信息與所述摘要文本信息的文本相似度；

摘要圖像確定模塊，用于基于各所述圖像的圖文相似度和文本相似度確定與所述摘要文本信息相匹配的摘要圖像；

目標摘要形成模塊，用于基于所述摘要圖像和所述摘要文本信息形成目標摘要。