[發明專利]一種三輸入的RGB-D顯著性目標檢測算法

在審

• 申請號: 202011053394.9
• 申請日: 2020-09-29
• 公開（公告）號: CN112115919A
• 公開（公告）日: 2020-12-22
• 發明（設計）人: 周武杰;潘思佳;林鑫楊;甘興利;雷景生;強芳芳
• 申請（專利權）人: 浙江科技學院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京睿智保誠專利代理事務所(普通合伙) 11732
• 代理人: 周新楣

本發明公開了一種三輸入的RGB?D顯著性目標檢測算法，應用于計算機視覺技術領域。針對不同類型的圖片使用了不同框架的預訓練操作，并且從預訓練中提取特征信息。在傳統的RGB?D雙流模型的基礎上增加了一條由RGB信息和深度信息拼接而成的彩色深度信息線路。融合了彩色信息和深度信息，有效的減少了信息損耗。本發明還設計了一個新型融合模塊，融合了多層次的信息特征。在模型輸出的地方，本發明又設計了四個不同尺度的輸出，總體損失為四個輸出的損失之和，這種方法既保護了低級特征的信息又維護了高級特征信息。

技術領域

本發明涉及計算機視覺技術領域，尤其是涉及一種三輸入的RGB-D顯著性目標檢測算法。

背景技術

顯著性目標檢測是圖像處理的一個分支，也是計算機視覺的一個領域。從廣義上說，計算機視覺就是賦予機器自然視覺能力的學科。自然視覺能力就是指生物視覺系統體現的視覺能力。實際上，計算機視覺本質上就是研究視覺感知問題。核心問題就是研究如何對輸入的圖像信息進行組織，對物體和場景進行識別，進而對圖像內容給予解釋。

近幾十年來，計算機視覺一直是人們越來越感興趣和嚴格研究的課題。計算機視覺也越來越善于從圖像中識別模式。甚至在各個領域都發揮了巨大作用，隨著人工智能與計算機視覺技術的驚人成就在不同行業越來越普遍，計算機視覺的未來似乎充滿了希望和難以想象的結果。而本文涉及到的顯著性目標檢測就是其中的一個分類，但也發揮著巨大的作用。

人類的大腦和視覺系統能夠在一個場景中快速定位區域，從背景中脫穎而出。顯著性目標檢測的目的是模擬人類視覺系統，檢測最吸引人視覺注意的像素或區域。也就是識別視覺上感興趣的、符合人類感知的目標區域。它在許多計算機視覺任務中是必不可少的，包括對象感知圖像重定向、上下文感知圖像編輯、圖像裁剪、交互式圖像分割和識別。盡管已經取得了相當大的進展，但它仍然是一個具有挑戰性的任務，需要有效的方法來處理真實世界的場景。

經過多年的探索與發展，深度圖像的出現讓顯著性目標檢測有了更進一步發展的可能。深度圖像具有彩色圖像沒有的深度信息，深度信息需要從深度圖中提取，深度信息經過提取可以顯著的提高目標檢測的效率。現有的RGB-D模型分為三種：一種是將深度信息作為模型的一條線路進行檢測；另一種是將深度信息作為輔助信息輸入到模型中；還有一種是將深度圖作為直接使用深度數據作為網絡輸入的第四通道。而本發明將第三種和第一種結合，以達到數據的原始性和一致性。

發明內容

有鑒于此，本發明提供了一種三輸入的RGB-D顯著性目標檢測算法。

為了實現上述目的，本發明采用如下技術方案：

本發明提出的一種三輸入的RGB-D顯著性目標檢測算法，具體步驟如下：

選取Q幅的彩色真實目標圖像和相對應的深度圖像，還有彩色深度圖像，以及每幅彩色真實目標圖像對應的顯著性圖像，并構成訓練集；

構建卷積神經網絡；

將訓練集中的每幅原始的彩色真實目標圖像轉換尺寸變為224×224作為原始RGB輸入圖像，輸入到Res2Net50中進行預訓練；

模型一共有四個輸出，每個輸出都進行計算訓練集中的每幅原始的彩色真實目標圖像對應的顯著性檢測預測圖構成的集合與對應的真實顯著性檢測圖像處理成的對應尺寸大小的編碼圖像構成的集合之間的損失函數值，采用帶權重的交叉熵損失函數獲得，四個輸出各有一個損失結果；最后總損失為四個輸出損失相加；

重復進行預訓練和損失結果的計算，得到卷積神經網絡分類訓練模型，在損失函數值中找出值最小的損失函數值；接著將值最小的損失函數值對應的權值矢量和偏置項對應作為卷積神經網絡分類訓練模型的最優權值矢量和最優偏置項。