[發明專利]基于圖片的摘要生成方法與系統

在審

• 申請號: 202010622157.3
• 申請日: 2020-06-30
• 公開（公告）號: CN111767395A
• 公開（公告）日: 2020-10-13
• 發明（設計）人: 黨升
• 申請（專利權）人: 平安國際智慧城市科技股份有限公司
• 主分類號: G06F16/34
• 分類號: G06F16/34;G06N3/08;G06N3/04;G06F21/64;G06F16/27
• 代理公司: 北京英特普羅知識產權代理有限公司 11015
• 代理人: 鄧小玲

本發明公開了一種基于圖片的摘要生成方法，包括：接收摘要生成指令，摘要生成指令包括待處理圖片；對待處理圖片進行預處理，得到預設格式的圖片；將預設格式的圖片輸入至圖像特征提取器中，以通過圖像特征提取器提取出預設格式的圖片中的圖像特征向量；獲取先驗知識數據，將預設格式的圖片與先驗知識數據輸入至文本特征提取器中，以通過文本特征提取器提取出預設格式中的文本特征向量；將圖像特征向量、文本特征向量與先驗知識數據輸入至圖像摘要生成器中，以通過圖像摘要生成器生成預設格式的圖片的目標圖像摘要，并將目標圖像摘要上傳至區塊鏈中進行保存。本發明的有益效果在于：提高了摘要生成的效率與精確度。

技術領域

本發明實施例涉及圖像處理技術領域，尤其涉及一種基于圖片的摘要生成方法與系統。

背景技術

自動摘要是利用計算機系統自動實現文本分析、內容歸納和摘要自動生成的技術，可以按或用戶的要求以簡潔的形式表達原文的主要內容。自動摘要技術能夠有效地幫助或用戶從檢索到的文章中尋找感興趣的內容，提高閱讀速度和質量。該技術可以將文檔壓縮為更為簡潔的表達，并且保證涵蓋原始文檔有價值的主題。

傳統的自動摘要技術一般是單模態摘要，即輸入全部為文本。然而在實際情況中，因為種種原因，很多文本數據是以圖片的格式存在，在很多情況下并不需要圖片的全部文字信息，只需要其中的摘要信息。然而為了達到目的，一般需要先通過工具將圖片轉成文字然后再通過摘要生成模型得到摘要。這個轉換過程需要人工操作，降低了摘要生成的效率與準確度，同時也耗費了不必要的資源。

發明內容

有鑒于此，本發明實施例的目的是提供一種基于圖片的摘要生成方法與系統，提高了摘要生成的效率與準確度。

為實現上述目的，本發明實施例提供了一種基于圖片的摘要生成方法，包括：

接收摘要生成指令，所述摘要生成指令包括待處理圖片；

對所述待處理圖片進行預處理，得到預設格式的圖片；

將所述預設格式的圖片輸入至圖像特征提取器中，以通過所述圖像特征提取器提取出所述預設格式的圖片中的圖像特征向量；

獲取先驗知識數據，將所述預設格式的圖片與所述先驗知識數據輸入至文本特征提取器中，以通過所述文本特征提取器提取出所述預設格式中的文本特征向量；

將所述圖像特征向量、所述文本特征向量與所述先驗知識數據輸入至圖像摘要生成器中，以通過所述圖像摘要生成器生成所述預設格式的圖片的目標圖像摘要。

進一步地，所述圖像特征提取器包括第一卷積層與第一池化層，所述將所述預設格式的圖片輸入至圖像特征提取器中，以通過所述圖像特征提取器提取出所述預設格式的圖片中的圖像特征向量包括：

將所述預設格式的圖片輸入至所述第一卷積層，以通過所述第一卷積層根據預設的特征卷積核對所述預設格式的圖片進行過濾處理，輸出第一目標特征圖像；

將所述第一目標特征圖像輸入至所述第一池化層，以通過所述第一池化層對所述第一目標特征圖像進行最大池化處理，得到第二目標特征圖像；

對所述第二圖像特征進行向量轉化，輸出所述目標特征圖像向量。

進一步地，將所述預設格式的圖片輸入至所述第一卷積層，以通過所述第一卷積層根據預設的特征卷積核對所述預設格式的圖片進行過濾處理，輸出第一目標特征圖像包括：

將所述預設格式的圖片輸入至所述第一卷積層中，根據卷積公式與所述預設的特征卷積核對所述預設格式的圖片進行過濾處理；

根據激活函數對過濾處理后的預設格式的圖片進行特收斂，輸出第一目標特征圖像。

進一步地，所述卷積公式為：

o＝(i-k+2*p)/s+1；