[發(fā)明專(zhuān)利]一種基于語(yǔ)義指導(dǎo)的自然場(chǎng)景下屏幕區(qū)域檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011004389.9
• 申請(qǐng)日: 2020-09-22
• 公開(kāi)（公告）號(hào): CN112150493B
• 公開(kāi)（公告）日: 2022-10-04
• 發(fā)明（設(shè)計(jì)）人: 黃勝;冉浩杉;張盛峰;李洋洋;付川
• 申請(qǐng)（專(zhuān)利權(quán)）人: 重慶郵電大學(xué)
• 主分類(lèi)號(hào): G06T7/13
• 分類(lèi)號(hào): G06T7/13;G06T3/40;G06T3/00;G06N3/04;G06V10/82;G06V10/80;G06V10/26;G06V10/774;G06V20/70
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本發(fā)明針對(duì)在自然場(chǎng)景下定位屏幕位置，且基于全卷積網(wǎng)絡(luò)(Fully Convolutional Network)的邊緣檢測(cè)技術(shù)生成的屏幕邊緣粗糙等問(wèn)題，研究并提出一種基于語(yǔ)義指導(dǎo)的自然場(chǎng)景下屏幕區(qū)域檢測(cè)方法。提出一種基于語(yǔ)義指導(dǎo)的邊緣檢測(cè)網(wǎng)絡(luò)用于屏幕邊緣檢測(cè)，該網(wǎng)絡(luò)分成兩部分，一部分是由反卷積模塊組成，完成圖像分割任務(wù)，另一部分由不同尺度的特征圖融合后進(jìn)行圖像邊緣檢測(cè)任務(wù)。將算法模型同時(shí)進(jìn)行圖像分割與圖像邊緣檢測(cè)任務(wù)的訓(xùn)練，最后融合兩個(gè)任務(wù)的輸出得到最終邊緣圖像。在屏幕區(qū)域定位階段，通過(guò)霍夫變換(Hough Transform)進(jìn)行邊緣圖像直線(xiàn)檢測(cè)，去掉重合直線(xiàn)，將符合條件的屏幕角點(diǎn)取出，并通過(guò)仿射變換(Affine Transformation)進(jìn)行區(qū)域角度進(jìn)行校正，最終得到屏幕內(nèi)容圖像。

技術(shù)領(lǐng)域

本發(fā)明涉及深度學(xué)習(xí)以及計(jì)算機(jī)視覺(jué)領(lǐng)域，具體涉及一種基于語(yǔ)義指導(dǎo)的邊緣檢測(cè)網(wǎng)絡(luò)和屏幕定位方法。

背景技術(shù)

隨著科技的進(jìn)步手機(jī)等便攜設(shè)備的計(jì)算能力不斷增強(qiáng)，擁有攝像頭的移動(dòng)設(shè)備也越來(lái)越普及，應(yīng)用這些設(shè)備可以很方便地進(jìn)行拍照和攝像。人們經(jīng)常需要利用手機(jī)等便攜設(shè)備記錄屏幕中播放的重要信息，但是在拍攝到屏幕的同時(shí)不可避免地會(huì)拍攝到屏幕外的背景，這些背景對(duì)后續(xù)的屏幕內(nèi)容處理會(huì)帶來(lái)很大的干擾。

另一方面在自然場(chǎng)景下，利用手機(jī)等便攜設(shè)備對(duì)于屏幕內(nèi)容進(jìn)行拍攝，不可能避免地會(huì)受到自然場(chǎng)景下的許多因素干擾，這些干擾會(huì)影響后續(xù)的進(jìn)行屏幕邊緣檢測(cè)處理結(jié)果的準(zhǔn)確度，因此需要一種具有適合自然條件下的屏幕定位技術(shù)幫助準(zhǔn)確定位到屏幕位置，以達(dá)到減少自然條件下所帶外界噪聲對(duì)于屏幕內(nèi)容分析的干擾目的。而在自然場(chǎng)景下對(duì)于屏幕定位技術(shù)方面的研究依舊較少，這一方面急需進(jìn)一步探索與研究。

在計(jì)算機(jī)視覺(jué)領(lǐng)域，通常檢測(cè)屏幕使用的是傳統(tǒng)邊緣檢測(cè)方法，使用傳統(tǒng)方法對(duì)于整張圖像進(jìn)行邊緣檢測(cè)處理，最后通過(guò)人工特征進(jìn)行匹配的方式在眾多的圖像邊緣中尋找出目標(biāo)屏幕邊緣。然而傳統(tǒng)邊緣檢測(cè)方法有著無(wú)法避免的缺點(diǎn)，一方面是傳統(tǒng)邊緣檢測(cè)方法檢測(cè)整張圖片中所有邊緣，會(huì)引入許多自然場(chǎng)景的干擾邊緣像素，提高后續(xù)通過(guò)人工特征尋找目標(biāo)邊緣的難度。另一方面是傳統(tǒng)邊緣檢測(cè)的方法大多都需要人工設(shè)置閾值來(lái)調(diào)整檢測(cè)邊緣靈敏度，過(guò)高會(huì)導(dǎo)致檢測(cè)過(guò)多干擾因素?zé)o法進(jìn)行人工特征匹配，而過(guò)低會(huì)導(dǎo)致無(wú)法檢測(cè)到所需屏幕邊緣。

在另一中國(guó)專(zhuān)利申請(qǐng)公開(kāi)號(hào)CN102236784A中披露了通過(guò)傳統(tǒng)方法霍夫變換掃描圖像中的嫌疑邊緣以及多直線(xiàn)擬合的方法進(jìn)行屏幕邊緣檢測(cè)。另一美國(guó)專(zhuān)利申請(qǐng)公開(kāi)號(hào)US20080266253A中披露了一種在計(jì)算機(jī)投影區(qū)域追蹤光點(diǎn)的系統(tǒng)。該系統(tǒng)通過(guò)二值化捕獲圖像，并從二值化像素中篩選四邊形來(lái)獲取屏幕區(qū)域。而這些使用傳統(tǒng)方法進(jìn)行屏幕邊緣檢測(cè)的算法都無(wú)法滿(mǎn)足不同場(chǎng)景的需求，抗干擾能力弱。

而基于深度學(xué)習(xí)的邊緣檢測(cè)算法在過(guò)去幾年里受到了廣泛的研究，隨著人工智能的發(fā)展以及一些基于深度卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks)網(wǎng)絡(luò)的邊緣檢測(cè)算法的提出，例如，經(jīng)典邊緣檢測(cè)器HED以及RCF等，基于深度學(xué)習(xí)的檢測(cè)方法已經(jīng)取得了很好的效果，并且隨著深度卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)性能的提升，其檢測(cè)性能也會(huì)越來(lái)越好。

同時(shí)，考慮到基于深度學(xué)習(xí)的邊緣檢測(cè)網(wǎng)絡(luò)輸出圖像邊緣粗糙且模糊的問(wèn)題，本發(fā)明設(shè)計(jì)了基于語(yǔ)義指導(dǎo)的邊緣檢測(cè)網(wǎng)絡(luò)，通過(guò)結(jié)合圖像分割任務(wù)和圖像邊緣檢測(cè)任務(wù)，將圖像分割任務(wù)中豐富的語(yǔ)義信息結(jié)合到邊緣檢測(cè)中去，能夠得到更加精細(xì)化的屏幕邊緣圖像。

發(fā)明內(nèi)容

本發(fā)明的目的在于設(shè)計(jì)一種基于語(yǔ)義指導(dǎo)的邊緣檢測(cè)網(wǎng)絡(luò)和屏幕區(qū)域定位算法來(lái)得到自然場(chǎng)景下屏幕區(qū)域的方法。并且在基于此方法基礎(chǔ)上實(shí)現(xiàn)一種屏幕區(qū)域檢測(cè)系統(tǒng)，聯(lián)合語(yǔ)義指導(dǎo)的邊緣檢測(cè)網(wǎng)絡(luò)放在服務(wù)器端的GPU模塊上進(jìn)行，后續(xù)屏幕區(qū)域定位階段使用的屏幕邊緣角點(diǎn)篩選算法放在前端或客戶(hù)端的CPU模塊上進(jìn)行，通過(guò)前后端分離操作減少前端計(jì)算量，從而提高屏幕區(qū)域檢測(cè)系統(tǒng)的屏幕檢測(cè)效率。