[發(fā)明專利]基于聯(lián)合信息編碼的立體圖像單流視覺顯著性檢測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011011518.7
• 申請(qǐng)日: 2020-09-23
• 公開（公告）號(hào): CN112257509A
• 公開（公告）日: 2021-01-22
• 發(fā)明（設(shè)計(jì)）人: 周武杰;柳昌;郭沁玲;雷景生;周揚(yáng);強(qiáng)芳芳;楊勝英
• 申請(qǐng)（專利權(quán)）人: 浙江科技學(xué)院
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 林超

1.一種基于聯(lián)合信息編碼的立體圖像單流視覺顯著性檢測(cè)方法，其特征在于，包括以下步驟：

步驟1：選取N幅原始立體圖像的彩色信息圖、深度信息圖及對(duì)應(yīng)的真實(shí)場(chǎng)景標(biāo)簽圖作為訓(xùn)練集；

步驟2：構(gòu)建端到端的單流卷積神經(jīng)網(wǎng)絡(luò)，單流卷積神經(jīng)網(wǎng)絡(luò)包括輸入層、隱藏層和輸出層；隱藏層包括五個(gè)依次連接的神經(jīng)網(wǎng)絡(luò)塊、三個(gè)自適應(yīng)卷積塊、五個(gè)信息融合塊、三個(gè)反轉(zhuǎn)注意力層、一個(gè)多尺度語(yǔ)義提取塊和三個(gè)二次殘差注意力塊，輸出層主要由五個(gè)輸出層組成；

步驟3：將步驟1得到的訓(xùn)練集輸入到步驟2構(gòu)建的單流卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練：訓(xùn)練過程中，每次迭代訓(xùn)練處理得到每幅原始立體圖像的顯著性預(yù)測(cè)圖，計(jì)算每幅原始立體圖像的顯著性預(yù)測(cè)圖與真實(shí)場(chǎng)景標(biāo)簽圖構(gòu)成的損失函數(shù)值，損失函數(shù)值采用采用二分類交叉熵?fù)p失函數(shù)獲得；

步驟4：重復(fù)執(zhí)行步驟3共T次，并共得到N×T個(gè)二分類交叉熵?fù)p失函數(shù)值；然后從N×T個(gè)損失函數(shù)值中找出最小的損失函數(shù)值，將最小的損失函數(shù)值對(duì)應(yīng)的權(quán)值矢量和偏置項(xiàng)作為單流卷積神經(jīng)網(wǎng)絡(luò)的最終權(quán)值矢量和最終偏置項(xiàng)，獲得訓(xùn)練好的單流卷積神經(jīng)網(wǎng)絡(luò)；

步驟5：利用訓(xùn)練好的單流卷積神經(jīng)網(wǎng)絡(luò)對(duì)待預(yù)測(cè)立體圖像的彩色信息圖和深度信息圖進(jìn)行預(yù)測(cè)處理，輸出獲得對(duì)應(yīng)的顯著性預(yù)測(cè)圖，實(shí)現(xiàn)立體圖像的視覺顯著性檢測(cè)。

2.根據(jù)權(quán)利要求1所述的一種基于聯(lián)合信息編碼的立體圖像單流視覺顯著性檢測(cè)方法，其特征在于，所述的單流卷積神經(jīng)網(wǎng)絡(luò)中：

五個(gè)依次連接的神經(jīng)網(wǎng)絡(luò)塊采用Res2net中的編碼部分，第一個(gè)神經(jīng)網(wǎng)絡(luò)塊的輸入為輸入層的輸出；第一個(gè)、第二個(gè)、第三個(gè)、第四個(gè)和第五個(gè)神經(jīng)網(wǎng)絡(luò)塊的輸出分別輸入第一個(gè)、第二個(gè)、第三個(gè)、第四個(gè)和第五個(gè)信息融合塊；

每個(gè)反轉(zhuǎn)注意力層包括輸入端Ⅰ和輸入端Ⅱ兩個(gè)輸入端；第一個(gè)反轉(zhuǎn)注意力層輸入端Ⅰ的輸入為第三個(gè)信息融合塊的輸出，輸入端Ⅱ的輸入為第四個(gè)信息融合塊依次經(jīng)第六十二個(gè)卷積層、第一個(gè)上采樣層的輸出；第二個(gè)反轉(zhuǎn)注意力層輸入端Ⅰ的輸入為第一個(gè)反轉(zhuǎn)注意力層經(jīng)第二個(gè)上采樣層的輸出，輸入端Ⅱ的輸入為第二個(gè)信息融合塊經(jīng)第六十三個(gè)卷積層的輸出；第三個(gè)反轉(zhuǎn)注意力層輸入端Ⅰ的輸入為第一個(gè)信息融合塊經(jīng)第六十四個(gè)卷積層的輸出，輸入端Ⅱ的輸入為第二個(gè)反轉(zhuǎn)注意力層的輸出；第一個(gè)反轉(zhuǎn)注意力層經(jīng)第二個(gè)上采樣層的輸出、第二個(gè)反轉(zhuǎn)注意力層的輸出和第三個(gè)反轉(zhuǎn)注意力層的輸出進(jìn)行通道堆疊后輸入第一個(gè)輸出層；

第五個(gè)信息融合塊依次經(jīng)多尺度語(yǔ)義提取塊、第一個(gè)二次殘差注意力塊、第二個(gè)二次殘差注意力塊和第三個(gè)二次殘差注意力塊輸入第三個(gè)輸入層；

第三個(gè)、第四個(gè)和第五個(gè)神經(jīng)網(wǎng)絡(luò)塊的輸出分別輸入第一個(gè)、第二個(gè)和第三個(gè)自適應(yīng)卷積塊，第一個(gè)自適應(yīng)卷積塊的輸出分別輸入特征聚合模塊和第三個(gè)二次殘差注意力塊，第二個(gè)自適應(yīng)卷積塊的輸出分別輸入特征聚合模塊和第二個(gè)二次殘差注意力塊，第三個(gè)自適應(yīng)卷積塊的輸出分別輸入特征聚合模塊和第一個(gè)二次殘差注意力塊；

特征聚合模塊經(jīng)第二個(gè)輸出層的輸出與第三個(gè)輸出層的輸出進(jìn)行通道疊加后輸入第四個(gè)輸出層；

第一個(gè)輸出層的輸出和第四個(gè)輸出層的輸出進(jìn)行通道疊加后輸入第五個(gè)輸出層，第五個(gè)輸出層的輸出作為輸出層的輸出。

3.根據(jù)權(quán)利要求1所述的一種基于聯(lián)合信息編碼的立體圖像單流視覺顯著性檢測(cè)方法，其特征在于，每個(gè)輸入信息融合塊的特征圖按批次均分切割為彩色特征圖和深度特征圖，彩色特征圖和深度特征圖通過張量相乘得到中間特征圖，彩色特征圖、深度特征圖和中間特征圖通過張量相加后得到的特征圖作為每個(gè)信息融合塊的輸出。

4.根據(jù)權(quán)利要求1所述的一種基于聯(lián)合信息編碼的立體圖像單流視覺顯著性檢測(cè)方法，其特征在于，每個(gè)反轉(zhuǎn)注意力層包括一個(gè)S型激活函數(shù)層、五個(gè)中間塊和一個(gè)卷積層，輸入端Ⅰ輸入的特征圖經(jīng)取反操作后輸入S型激活函數(shù)層輸出按通道排列的權(quán)重，輸入端Ⅱ輸入的特征圖經(jīng)第一個(gè)注意力塊的輸出與S型激活函數(shù)層輸出的權(quán)重張量相乘后輸入第二個(gè)中間塊，第二個(gè)中間塊依次經(jīng)第三個(gè)中間塊、第四個(gè)中間塊、一個(gè)卷積層的輸出與輸入端Ⅰ輸入的特征圖相加后的輸出作為反轉(zhuǎn)注意力層的輸出；

每個(gè)中間塊包括依次連接的一個(gè)卷積層和一個(gè)激活層。