[發明專利]基于多核增強和顯著性融合的RGBD圖像協同顯著性檢測方法

有效

• 申請號: 201710250065.5
• 申請日: 2017-04-17
• 公開（公告）號: CN107169417B
• 公開（公告）日: 2021-01-12
• 發明（設計）人: 劉志;吳莉珊;宋杭科
• 申請（專利權）人: 上海大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06T7/00;G06T7/136;G06T7/194
• 代理公司: 上海上大專利事務所(普通合伙) 31205
• 代理人: 顧勇華

1.一種基于多核增強和顯著性融合的RGBD圖像協同顯著性檢測方法，其特征在于該方法的具體步驟如下：

a.輸入原始圖像和深度圖像N表示圖像的總張數，用基于隨機森林的RGBD顯著性模型得到單張圖像的RGBD顯著性圖，再采用基于輪廓的圖像分割算法對輸入的原始圖像進行預分割，每張圖像被分為Q個區域，表示圖像I_n的每個區域，用該區域所有像素點的單張RGBD顯著性值的平均值作為該區域的RGBD顯著性值，將區域的RGBD顯著性值大于閾值T1的區域選為候選對象區域；

b.將步驟a所得的候選對象區域進行聚類，根據聚類結果選擇候選的正負樣本：取聚類質量最好的那次聚類結果，按照一張原始圖像對應一張基協同顯著性圖，得到基協同顯著性圖把這次聚類結果中聚類顯著性值最大的那個類的區域作為正的候選樣本，取顯著性值低于某個設定的閾值T2且位于圖像四周的區域作為負的候選樣本，聚類顯著性值由以下三個值決定：這個類中的所有區域的平均顯著性值，這個類中所有區域的各個特征間的歐式距離，以及這個類中區域所屬的圖像張數占總圖像張數的比例；

c.學習模型：對于模型t，首先生成一個隨機數IN^t,1≤IN^t≤N，從原始圖像集中隨機有放回地選擇IN^t張圖像，構成第t個圖像組，從步驟b中得到的正的候選樣本中選擇出屬于這個圖像組的區域作為正樣本，標記為+1，從步驟b中得到的負的候選樣本中選擇出屬于這個圖像組的區域作為負樣本，標記為-1，得到樣本總數為H的第t個訓練樣本集其中，r_i和l_i表示樣本i的二值標簽；由此訓練得到模型t，將其應用到所有N張圖像的所有區域，從而得到模型t對應的基于多核增強的協同顯著性圖這樣，根據一個圖像組就學習到了一個模型，實驗中，共生成TT個圖片組，也就是學習TT個模型；綜合考慮實驗效果和執行時間，將TT設為這個圖像總張數N的3倍；

d.將步驟c得到的圖和步驟b得到的相應BCS圖進行線性融合，得到融合協同顯著性圖；并評價每張融合協同顯著性圖的質量；以這個質量評價為權重進行自適應的融合，得到最后的協同顯著性圖。

2.根據權利要求1所述的基于多核增強和顯著性融合的RGBD圖像協同顯著性檢測方法，其特征在于，所述步驟b中的候選正負樣本的生成，具體步驟如下：

(b-1)、提取步驟a所得的每個候選區域的顏色、深度、幾何共24維特征；對于某次聚類，首先產生一個隨機數FNⁿ，1≤FNⁿ≤24，并從所有特征中隨機挑選出FNⁿ個特征；為每個區域構成一個FNⁿ維的特征向量；并用模糊c均值的聚類方法進行聚類；為了平衡聚類性能和算法時間的關系，將聚類次數設為150；計算每次聚類過程每個聚類的顯著性值，并評價每次聚類的質量，聚類質量由聚類分離率、類中的區域數決定，取聚類質量最好的那次聚類結果，得到基協同顯著性圖把這次聚類結果中聚類顯著性值最大的那個類的區域作為正的候選樣本，取顯著性值低于某個設定的閾值T2且位于圖像四周的區域作為負的候選樣本。