[發明專利]基于圖片的摘要生成方法與系統

在審

• 申請號: 202010622157.3
• 申請日: 2020-06-30
• 公開（公告）號: CN111767395A
• 公開（公告）日: 2020-10-13
• 發明（設計）人: 黨升
• 申請（專利權）人: 平安國際智慧城市科技股份有限公司
• 主分類號: G06F16/34
• 分類號: G06F16/34;G06N3/08;G06N3/04;G06F21/64;G06F16/27
• 代理公司: 北京英特普羅知識產權代理有限公司 11015
• 代理人: 鄧小玲

1.一種基于圖片的摘要生成方法，其特征在于，包括：

接收摘要生成指令，所述摘要生成指令包括待處理圖片；

對所述待處理圖片進行預處理，得到預設格式的圖片；

將所述預設格式的圖片輸入至圖像特征提取器中，以通過所述圖像特征提取器提取出所述預設格式的圖片中的圖像特征向量；

獲取先驗知識數據，將所述預設格式的圖片與所述先驗知識數據輸入至文本特征提取器中，以通過所述文本特征提取器提取出所述預設格式中的文本特征向量；

將所述圖像特征向量、所述文本特征向量與所述先驗知識數據輸入至圖像摘要生成器中，獲取所述圖像摘要生成器生成的目標圖像摘要。

2.根據權利要求1所述的摘要生成方法，其特征在于，所述圖像特征提取器包括第一卷積層與第一池化層，所述將所述預設格式的圖片輸入至圖像特征提取器中，以通過所述圖像特征提取器提取出所述預設格式的圖片中的圖像特征向量包括：

將所述預設格式的圖片輸入至所述第一卷積層，以通過所述第一卷積層根據預設的特征卷積核對所述預設格式的圖片進行過濾處理，輸出第一目標特征圖像；

將所述第一目標特征圖像輸入至所述第一池化層，以通過所述第一池化層對所述第一目標特征圖像進行最大池化處理，得到第二目標特征圖像；

對所述第二圖像特征進行向量轉化，輸出所述目標特征圖像向量。

3.根據權利要求2所述的摘要生成方法，其特征在于，將所述預設格式的圖片輸入至所述第一卷積層，以通過所述第一卷積層根據預設的特征卷積核對所述預設格式的圖片進行過濾處理，輸出第一目標特征圖像包括：

將所述預設格式的圖片輸入至所述第一卷積層中，根據卷積公式與所述預設的特征卷積核對所述預設格式的圖片進行過濾處理；

根據激活函數對過濾處理后的預設格式的圖片進行特收斂，輸出第一目標特征圖像。

4.根據權利要求3所述的摘要生成方法，其特征在于，所述卷積公式為：

o＝(i-k+2*p)/s+1；

其中，i表示預設格式的圖片的尺寸；k表示特征卷積核的大小；s表示步長；p表示填充大小；o表示第一目標特征圖像的尺寸。

5.根據權利要求1所述的摘要生成方法，其特征在于，所述文本特征提取器包括第二卷積層與第二池化層，所述獲取先驗知識數據，將所述預設格式的圖片與所述先驗知識數據輸入至文本特征提取器中，以通過所述文本特征提取器提取出所述預設格式中的文本特征向量包括：

將所述預設格式的圖片輸入至所述第二卷積層，以通過所述第二卷積層對所述預設格式的圖片進行過濾處理，得到第一文本特征；

將所述第一文本特征輸入至所述第二池化層，以通過所述第二池化層對所述第一文本特征進行最大池化處理，并通過所述政務知識數據進行篩選，得到第二文本特征；

對所述第二文本特征進行向量轉化，輸出所述文本特征向量。

6.根據權利要求1所述的摘要生成方法，其特征在于，所述圖像摘要生成器包括多層特征生成層，所述將所述圖像特征向量、所述文本特征向量與所述先驗知識數據輸入至圖像摘要生成器中，獲取所述圖像摘要生成器生成的目標圖像摘要包括：

將所述圖像特征向量與所述文本特征向量輸入至所述圖像摘要生成器中，通過所述圖像摘要生成器的第一層特征生成層生成第一個特征字；

將所述第一個特征字與第一層特征生成層的中間結果輸入到圖像摘要生成器中，通過所述圖像摘要生成器的第二層特征生成層生成第二個特征字；

當所述圖像摘要生成器將所述圖像特征向量與所述文本特征向量生成特征句子時，停止循環輸入；

通過將所述先驗知識作為所述圖像摘要生成器的注意力機制，對所述特征句子進行校正，得到目標圖像摘要，并將所述目標圖像摘要上傳至區塊鏈中。