[發明專利]一種跨媒體圖像檢索方法及系統

在審

• 申請號: 202110618244.6
• 申請日: 2021-06-03
• 公開（公告）號: CN113536013A
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 程志華;高靈超;陳振宇;王路濤;李博;李繼偉;王家凱;呂宏偉;聶玲;鄭菲
• 申請（專利權）人: 國家電網有限公司大數據中心
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06N3/04;G06N3/08;G06F40/216
• 代理公司: 北京安博達知識產權代理有限公司 11271
• 代理人: 徐國文

本發明提出了一種跨媒體圖像檢索方法及系統，包括：獲取數據庫中所有圖片和待檢索的文本標題；將所述圖片輸入到預先構建的圖片標題生成模型，得到所述圖片對應的文本標題，并將所述圖片與所述圖片對應的文本標題以對的形式更新數據庫中原始圖片；采用文本匹配的檢索方法從更新后的數據庫中檢索所述待檢索的文本標題對應的圖片；其中，所述圖片標題生成模型是基于卷積神經網絡?循環神經網絡進行訓練，并采用強化學習方法對所述圖片標題生成模型的參數優化后得到。本發明的技術方案采用卷積神經網絡—循環神經網絡進行訓練，得到了實體之間的關系，并采用強化學習方法對圖片標題生成模型的參數進行優化，提高了檢索的效率。

技術領域

本發明涉及圖像處理領域，具體涉及一種跨媒體圖像檢索方法及系統。

背景技術

目前的圖像主旨提取算法的技術方案主要是通過CNN提取圖像特征，再利用LSTM生成句子。

CNN是在許多領域中采用的一類可學習的體系結構，例如圖像識別，圖像注釋，圖像檢索。CNN通常由幾層組成，每層都包含線性和非線性運算符，它們以端對端的方式共同學習以解決特定任務。用于圖像分類的CNN體系結構包括幾個卷積層，然后是一個或多個完全連接的層，CNN的輸出是最后一個完全連接層的輸出，輸出節點的數量等于圖像類的數量。

經過訓練可以解決給定任務的CNN也可以適用于解決其他任務。從頭開始訓練整個CNN并不總是可能的，因為擁有足夠大小的數據集相對很少。通常使用在非常大的數據集上進行預訓練的CNN。例如，ImageNet數據集包含120萬張具有1000個類別的圖像。

然后，將預訓練的網絡用作感興趣任務的初始化或固定特征提取器。如果將網絡用作特征提取器，則經過預訓練的CNN會執行所有多層操作，并且在輸入圖像的情況下，特征向量是最后一個網絡層之一的輸出。

現有技術的信息通常集中在實體的類別或屬性，對于實體之間的關系沒有明確的顯現，檢索效率相對較低。圖像主旨提取算法也往往集中在特定的區域，缺乏對于全局的考慮。

發明內容

為解決現有技術中存在的信息通常集中在實體的類別或屬性，對于實體之間的關系沒有明確的顯現，檢索效率相對較低的問題，本發明提出了一種跨媒體圖像檢索方法，包括：

獲取數據庫中所有圖片和待檢索的文本標題；

將所述圖片輸入到預先構建的圖片標題生成模型，得到所述圖片對應的文本標題，并將所述圖片與所述圖片對應的文本標題以對的形式更新數據庫中原始圖片；

采用文本匹配的檢索方法從更新后的數據庫中檢索所述待檢索的文本標題對應的圖片；

其中，所述圖片標題生成模型是基于卷積神經網絡-循環神經網絡進行訓練，并采用強化學習方法對所述圖片標題生成模型的參數優化后得到。

優選的，所述圖片標題生成模型的構建，包括：

收集圖片，并對所述圖片進行文本標題描述得到各圖片對應的文本標題；

將圖片和圖片對應的文本標題構建訓練集；

將訓練集中所有圖片輸入到卷積神經網絡進行圖像特征提取，并將提取的圖像特征輸入到循環神經網絡中；

由所述循環神經網絡輸出每張圖片對應的文本標題，并基于生成的每張圖片對應的文本標題與所述訓練集中的文本標題的差異優化所述循環神經網絡中的參數，得到訓練好的圖片標題生成模型。

優選的，所述將訓練集中所有圖片輸入到卷積神經網絡進行圖像特征提取，包括：

將訓練集中所有圖片輸入到卷積神經網絡中，由卷積神經網絡中的區域提議網絡生成候選框，并對所述候選框進行裁剪過濾后通過softmax函數判斷像素點屬于前景或背景；

采用卷積神經網絡中的包圍框回歸模型修正所述候選框；