[發明專利]基于深度學習的多源圖像融合和特征提取算法

在審

• 申請號: 201810879184.1
• 申請日: 2018-08-03
• 公開（公告）號: CN109308486A
• 公開（公告）日: 2019-02-05
• 發明（設計）人: 周河宇;韋莎;程雨航;王偉忠;劉安安;聶為之;蘇育挺
• 申請（專利權）人: 天津大學;中國電子技術標準化研究院
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李林娟

本發明公開了一種基于深度學習的多源圖像融合和特征提取算法，包括：將數據庫中的每個三維模型置于一個虛擬的正十二面體中，將虛擬相機安置在正十二面體的均勻分布的二十個頂點上，從三維空間的視點中對原始物體進行虛擬拍照，得到單個目標的二十個視圖，構成多視圖模型數據庫；將多視圖模型數據庫按照7：2：1的比例劃分為訓練集、測試集和驗證集，利用視圖姿態標簽這一隱變量重新定義損失函數，通過反向傳播算法最小化損失函數；在最小化損失函數后，神經網絡最后一層通過softmax級聯輸出單個目標的多個視圖，在候選視圖姿態標簽的約束下所屬類別的得分。本發明避免了對特征所處空間的依賴，提高了目標分類的精度。

技術領域

本發明涉及多視圖目標分類領域，尤其涉及一種基于深度學習的多源圖像融合和特征提取算法。

背景技術

伴隨著數字化、顯示技術和三維建模^[1]等技術的日益成熟，三維模型這一目標呈現出爆破式地增長，如何對這一目標進行高效分析和檢索成為一個重要的研究問題^[2]。而目標分類^[3]作為三維模型檢索中重要的一步，能夠在很大程度上影響分類的速度和精度，通過類別來限定檢索的范圍，既能提高檢索的效率，又能提高檢索的精度。而目標分類技術，是指將一部分已經標注過的目標(比如：圖像、視頻、三維模型等^[4])作為訓練樣本，通過深度學習等算法對其進行訓練，得到最優的分類器。

目標分類技術是三維模型檢索中重要的一步，目前三維模型檢索主要有兩大類^[5]：第一類是基于文本進行三維模型檢索，另外一類基于三維模型的內容檢索更加常見。在一類中，通過文本標注，將三維模型進行文字標注，通過標注來檢索獲取三維模型。但由于文本的二義性和三維模型復雜的空間結構信息，檢索效果不太理想。第二類是基于內容的檢索，根據三維模型的拓撲結構^[6]、幾何形狀^[7]等形狀內容來獲取目標的形狀特征，將特征存儲后，進行檢索。而幾何相似性是基于內容檢索中的主要組成部分，它不僅能相對精確的描述三維模型的內在信息，還無需人工干預，排除了因人工標注而導致的信息差異性。基于內容的檢索分為兩類^[8]：基于模型的檢索和基于視圖的檢索。由于基于模型的檢索受到計算量的限制應用不是很廣泛，現在較為常用的是基于視圖的檢索。基于視圖的三維模型檢索方法使用二維視圖來描述三維模型，同時，三維模型的比較也是基于二維視圖之間的比較實現的。

基于多視圖的目標分類方法領域目前面臨的挑戰主要有兩個方面^[9]：

1、視圖本身不能表征目標三維模型的拓撲結構，基于視圖進行三維模型分類有一定的局限性。

2、如何去選取最優視圖在一定程度上影響了最終目標分類的精度，而關于最優視圖的選擇目前還沒有比較完善的方法。

基于視圖的三維模型檢索領域目前面臨的主要挑戰為^[10]：大多數方法都關注在相似度計算和模型結構表征上，而忽略了對特征的學習和優化，限制了實際應用范圍。

發明內容

本發明提供了一種基于深度學習的多源圖像融合和特征提取算法，本發明避免了對特征所處空間的依賴，提高了目標分類的精度，詳見下文描述：

一種基于深度學習的多源圖像融合和特征提取算法，所述方法包括以下步驟：

將數據庫中的每個三維模型置于一個虛擬的正十二面體中，將虛擬相機安置在正十二面體的均勻分布的二十個頂點上，從三維空間的視點中對原始物體進行虛擬拍照，得到單個目標的二十個視圖，構成多視圖模型數據庫；

將多視圖模型數據庫按照7：2：1的比例劃分為訓練集、測試集和驗證集，利用視圖姿態標簽這一隱變量重新定義損失函數，通過反向傳播算法最小化損失函數；