[發明專利]一種基于點擊與視覺融合的弱監督雙線性深度學習方法

有效

• 申請號: 201710059373.X
• 申請日: 2017-01-24
• 公開（公告）號: CN106919951B
• 公開（公告）日: 2020-04-21
• 發明（設計）人: 俞俊;譚敏;鄭光劍
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F16/583
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 杜軍

本發明公開了一種基于點擊與視覺融合的弱監督雙線性深度學習方法。本發明包括如下步驟：1、從點擊數據集中提取每幅圖像的文本構成的點擊特征，并通過合并語義相近的文本，在合并后的文本空間下構建新的低維緊湊的點擊特征；2、點擊與視覺特征融合的深度模型構建；3、BP學習網絡模型參數；4、計算每一個訓練樣本的模型預測損失，并構造樣本集的相似度矩陣，同時利用樣本損失和相似度矩陣學習樣本可靠性，利用可靠性給樣本加權；5、重復步驟3和4，迭代地優化神經網絡模型和樣本權重，從而訓練整個網絡模型直到收斂。本發明融合了點擊數據和視覺特征從而構造了新的雙線性卷積神經網絡框架，能用來更好的對細粒度圖像進行識別。

技術領域

本發明涉及細粒度圖像分類方法，尤其涉及一種基于點擊與視覺融合的弱監督雙線性深度學習方法。

背景技術

細粒度分類(Fine-Grained Visual Categorization,FGVC)作為一個研究方向，是目標識別的一個子問題。它是對同一類型的物體中不同的子類進行區別，所涉及的目標從大體外觀上而言都是極其相似的，需要有一定的相關先驗知識才能對其區分，對于沒有經驗的人來說，做到這一點實屬不易，而讓計算機能夠自動進行分類就更是充滿挑戰性。

在對于細粒度圖像識別的研究任務中，馬薩諸塞大學Tsung-Yu Lin等人提出了一種雙線性卷積神經網絡模型(Bilinear Convolution neutral networks，BCNN)，通過將其應用于對細粒度圖像識別的任務中，發現取得了非常好的效果。這種模型是基于近年來頗為熱門的深度學習的內容，由兩個不同的CNN網絡框架組成，通過對一副圖像進行不同的卷積得到兩個不同表達性質的特征，并用外積相結合得到一個更具有表征能力的特征向量，從而實現了更好的針對細粒度圖像的識別效果。

盡管從目前的現有技術來看，BCNN被證明了是在細粒度圖像識別方面非常有效的一個模型，但是它在對利用圖像的語義信息方面仍然有所不足。因此，設計出一種有效的語義特征就十分迫切。許多研究者希望能通過人工標注屬性的方法來彌補這一點，然而這種手段由于人工成本過大而顯得缺乏前景。為了解決這一問題，微軟發布了一種新的大規模點擊數據集Clickture。這個由微軟發布的點擊數據集來自于商業搜索引擎的記錄，它由三部分組成：查詢文本、被點擊圖片、相應的點擊量。這三者共同表達了用戶對于查詢文本和圖片之間相關關系，且點擊量量化了相應的圖片和文本之間的關聯程度。有了這個點擊數據的幫助，圖像就可以用每個查詢文本作為屬性，得到跟語義信息相關的特征，而點擊量則表示特征對應每一維度(即屬性)的值。

點擊數據集作為從網上搜集來的數據，數據量大、人工成本小，且具有較好的表達語義信息的能力。由BCNN提取的視覺特征為主體搭配上點擊數據帶來的語義特征，對促進細粒度圖像分類的效果具有一定的可行性，是值得研究的。此外，點擊數據作為目前科研的熱門方向，合理的使用也使得本發明具有一定的前沿性和創新性。

發明內容

本發明提供了一種基于點擊與視覺融合的弱監督雙線性深度學習方法，該方法融合了點擊數據和視覺特征從而構造了新的雙線性卷積神經網絡框架，能用來更好的對細粒度圖像進行識別。

一種基于點擊與視覺融合的弱監督雙線性深度學習方法，其步驟如下：

步驟(1)、點擊數據預處理：

從點擊數據集中提取每幅圖像的文本構成的點擊特征，并通過合并語義相近的文本，在合并后的文本空間下構建新的低維緊湊的點擊特征；

步驟(2)、點擊與視覺特征融合的深度模型構建：

對樣本基于可靠性加權，構建一個帶權重的三通道深度神經網絡模型，其中兩個通道提取圖像視覺特征，第三通道處理步驟1的點擊特征。將視覺與點擊特征通過特征連接層進行融合；

步驟(3)、BP學習網絡模型參數：