[發(fā)明專利]一種用于導(dǎo)盲眼鏡的雙目目標(biāo)檢測(cè)方法和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110067848.6
• 申請(qǐng)日: 2021-01-19
• 公開(kāi)（公告）號(hào): CN112766151B
• 公開(kāi)（公告）日: 2022-07-12
• 發(fā)明（設(shè)計(jì)）人: 劉鋒;俞益洲;李一鳴;喬昕
• 申請(qǐng)（專利權(quán)）人: 北京深睿博聯(lián)科技有限責(zé)任公司;杭州深睿博聯(lián)科技有限公司
• 主分類號(hào): G06V20/40
• 分類號(hào): G06V20/40;G06V10/774;G06V10/80;G06V10/74;G06V10/82;G06K9/62;G06N3/04;G06N3/08;A61H3/06
• 代理公司: 北京天方智力知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11719
• 代理人: 路遠(yuǎn)

本發(fā)明提供了一種用于導(dǎo)盲眼鏡的雙目目標(biāo)檢測(cè)方法和系統(tǒng)，解決現(xiàn)有導(dǎo)盲眼鏡目標(biāo)檢測(cè)算法可靠性差的技術(shù)問(wèn)題。方法包括：對(duì)雙目視角下同步的主視頻和輔視頻進(jìn)行目標(biāo)標(biāo)注；將輔視頻中的圖像特征與主視頻中的圖像特征融合形成單一視角視頻特征數(shù)據(jù)；利用單一視角視頻特征數(shù)據(jù)和標(biāo)注數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)集建立目標(biāo)物體的雙目檢測(cè)模型。通過(guò)左右攝像機(jī)內(nèi)容中視訊特征的單向融合改善了單目目標(biāo)檢測(cè)模型對(duì)檢測(cè)數(shù)據(jù)存在缺陷時(shí)的檢測(cè)性能，實(shí)現(xiàn)了檢測(cè)通道間的冗余性和互補(bǔ)性。尤其在某個(gè)攝像機(jī)出現(xiàn)污損或故障時(shí)，仍可以利用另外攝像機(jī)提供的視訊信息保證各檢測(cè)通道進(jìn)行最低限度的障礙物定位，提供導(dǎo)盲眼鏡目標(biāo)檢測(cè)的整體可靠性和使用的安全系數(shù)。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域，具體涉及一種用于導(dǎo)盲眼鏡的雙目目標(biāo)檢測(cè)方法和系統(tǒng)。

背景技術(shù)

目標(biāo)檢測(cè)是導(dǎo)盲眼鏡的關(guān)鍵技術(shù)，準(zhǔn)確的獲取目標(biāo)的位置信息，對(duì)于跟蹤運(yùn)動(dòng)目標(biāo)、路徑規(guī)劃與自身狀態(tài)估計(jì)至關(guān)重要。現(xiàn)有技術(shù)中，導(dǎo)盲眼鏡中目標(biāo)檢測(cè)算法分為單目攝像機(jī)下和雙目攝像機(jī)下目標(biāo)檢測(cè)兩種。基于單目攝像機(jī)的目標(biāo)檢測(cè)通常直接利用基于深度學(xué)習(xí)的2D目標(biāo)檢測(cè)方法。由于在實(shí)際使用中，攝像機(jī)會(huì)遇到污損等情況，影響圖像采集的質(zhì)量，甚至在極端情況下會(huì)出現(xiàn)故障，無(wú)法獲取視頻，導(dǎo)致檢測(cè)失敗；另外基于深度學(xué)習(xí)的目標(biāo)檢測(cè)方法容易受噪聲影響，出現(xiàn)誤檢和漏檢。而基于雙目攝像機(jī)的目標(biāo)檢測(cè)算法需要對(duì)左右攝像機(jī)內(nèi)容進(jìn)行配準(zhǔn)，生成視差圖，估算圖像中每個(gè)點(diǎn)的深度，然后采用3D目標(biāo)檢測(cè)算法進(jìn)行目標(biāo)的檢測(cè)。該方法同樣存在當(dāng)任意攝像機(jī)出現(xiàn)問(wèn)題無(wú)法獲取足夠視頻，均無(wú)法生成視差圖，嚴(yán)重影響目標(biāo)檢測(cè)的精度，無(wú)法完成深度估計(jì)，導(dǎo)致檢測(cè)失敗。現(xiàn)有目標(biāo)檢測(cè)方法無(wú)法解決在實(shí)際應(yīng)用場(chǎng)景下檢測(cè)的可靠性問(wèn)題，潛在危及眼鏡使用者的安全。

發(fā)明內(nèi)容

鑒于上述問(wèn)題，本發(fā)明實(shí)施例提供一種用于導(dǎo)盲眼鏡的雙目目標(biāo)檢測(cè)方法和系統(tǒng)，解決現(xiàn)有導(dǎo)盲眼鏡目標(biāo)檢測(cè)算法可靠性差的技術(shù)問(wèn)題。

本發(fā)明實(shí)施例的用于導(dǎo)盲眼鏡的雙目目標(biāo)檢測(cè)方法，包括：

對(duì)雙目視角下同步的主視頻和輔視頻進(jìn)行目標(biāo)標(biāo)注；

將所述輔視頻中的圖像特征與所述主視頻中的圖像特征融合形成單一視角視頻特征數(shù)據(jù)；

利用所述單一視角視頻特征數(shù)據(jù)和所述標(biāo)注數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)集建立目標(biāo)物體的雙目檢測(cè)模型。

本發(fā)明實(shí)施例的用于導(dǎo)盲眼鏡的雙目目標(biāo)檢測(cè)系統(tǒng)，包括：

存儲(chǔ)器，用于存儲(chǔ)如上述的用于導(dǎo)盲眼鏡的雙目目標(biāo)檢測(cè)方法處理過(guò)程對(duì)應(yīng)的程序代碼；

處理器，用于執(zhí)行所述程序代碼。

本發(fā)明實(shí)施例的用于導(dǎo)盲眼鏡的雙目目標(biāo)檢測(cè)系統(tǒng)，包括：

視頻幀標(biāo)注裝置，用于對(duì)雙目視角下同步的主視頻和輔視頻進(jìn)行目標(biāo)標(biāo)注；

幀特征融合裝置，用于將所述輔視頻中的圖像特征與所述主視頻中的圖像特征融合形成單一視角視頻特征數(shù)據(jù)；

模型訓(xùn)練裝置，用于利用所述單一視角視頻特征數(shù)據(jù)和所述標(biāo)注數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)集建立目標(biāo)物體的雙目檢測(cè)模型。

本發(fā)明實(shí)施例的用于導(dǎo)盲眼鏡的雙目目標(biāo)檢測(cè)方法和系統(tǒng)克服了通過(guò)對(duì)左右攝像機(jī)內(nèi)容進(jìn)行配準(zhǔn)，生成視差圖，估算圖像中點(diǎn)深的3D目標(biāo)檢測(cè)算法的單點(diǎn)故障技術(shù)缺陷。通過(guò)左右攝像機(jī)內(nèi)容中視訊特征的單向融合改善了單目目標(biāo)檢測(cè)模型對(duì)檢測(cè)數(shù)據(jù)存在缺陷時(shí)的檢測(cè)性能。使得在實(shí)際應(yīng)用中，形成平行檢測(cè)通道對(duì)左右攝像機(jī)的視訊內(nèi)容進(jìn)行目標(biāo)檢測(cè)的同時(shí)，在單一視角檢測(cè)通道內(nèi)利用另一攝像機(jī)視訊的圖像特征數(shù)據(jù)進(jìn)行目標(biāo)檢測(cè)，實(shí)現(xiàn)了檢測(cè)通道間的冗余性和互補(bǔ)性，對(duì)單一檢測(cè)通道檢測(cè)精度有較大提升。尤其在某個(gè)攝像機(jī)出現(xiàn)污損或故障時(shí)，仍可以利用另外攝像機(jī)提供的視訊信息保證各檢測(cè)通道進(jìn)行最低限度的障礙物定位，提供導(dǎo)盲眼鏡目標(biāo)檢測(cè)的整體可靠性，保證了導(dǎo)盲眼鏡使用的安全系數(shù)。

附圖說(shuō)明