[發(fā)明專利]基于深度學(xué)習(xí)的視頻場(chǎng)景文本檢測(cè)方法、系統(tǒng)、設(shè)備及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201910089785.7
• 申請(qǐng)日: 2019-01-30
• 公開（公告）號(hào): CN109919025A
• 公開（公告）日: 2019-06-21
• 發(fā)明（設(shè)計(jì)）人: 黃雙萍;伍思航;楊弈才;伍冠中
• 申請(qǐng)（專利權(quán)）人: 華南理工大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 廣州市華學(xué)知識(shí)產(chǎn)權(quán)代理有限公司 44245
• 代理人: 李君

本發(fā)明公開了一種基于深度學(xué)習(xí)的視頻場(chǎng)景文本檢測(cè)方法、系統(tǒng)、設(shè)備及介質(zhì)，所述方法包括：獲取靜態(tài)自然場(chǎng)景文本圖像數(shù)據(jù)；對(duì)靜態(tài)自然場(chǎng)景文本圖像數(shù)據(jù)進(jìn)行預(yù)處理，得到預(yù)處理場(chǎng)景文本圖像數(shù)據(jù)；構(gòu)建基于回歸的端到端深度卷積神經(jīng)網(wǎng)絡(luò)模型；使用預(yù)處理場(chǎng)景文本圖像數(shù)據(jù)對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行優(yōu)化訓(xùn)練；利用訓(xùn)練后的深度卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行視頻場(chǎng)景文本檢測(cè)。本發(fā)明采用計(jì)算機(jī)視覺中基于深度學(xué)習(xí)的檢測(cè)方法，通過設(shè)計(jì)高效的基于回歸的端到端深度卷積神經(jīng)網(wǎng)絡(luò)模型，可以快速并且實(shí)時(shí)準(zhǔn)確地獲取視頻中的場(chǎng)景文本，能夠?yàn)楹罄m(xù)文字識(shí)別等任務(wù)提供基礎(chǔ)，對(duì)視頻語(yǔ)義理解、字幕翻譯、治安監(jiān)控安防、無(wú)人機(jī)飛行、自動(dòng)駕駛等場(chǎng)景有著重要的應(yīng)用。

技術(shù)領(lǐng)域

本發(fā)明涉及一種文本檢測(cè)方法，尤其是一種基于深度學(xué)習(xí)的視頻場(chǎng)景文本檢測(cè)方法、系統(tǒng)、設(shè)備及介質(zhì)，屬于計(jì)算機(jī)視覺的目標(biāo)檢測(cè)領(lǐng)域。

背景技術(shù)

近年來(lái)，隨著計(jì)算機(jī)技術(shù)、多媒體技術(shù)和網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，手機(jī)、攝像機(jī)、監(jiān)控等獲取視頻的設(shè)備快速普及，視頻資源日益豐富?？焖俨⑶覝?zhǔn)確地獲取視頻中的信息越來(lái)越重要，而基于深度學(xué)習(xí)的方法蘊(yùn)藏著巨大的潛能，在計(jì)算機(jī)視覺領(lǐng)域的應(yīng)用發(fā)展如火如荼，成為當(dāng)今及未來(lái)的趨勢(shì)。更進(jìn)一步，實(shí)時(shí)準(zhǔn)確地檢測(cè)定位視頻中的場(chǎng)景文本，對(duì)視頻語(yǔ)義理解、字幕翻譯、治安監(jiān)控安防、無(wú)人機(jī)飛行、自動(dòng)駕駛等場(chǎng)景有著重要的應(yīng)用。

靜態(tài)圖像場(chǎng)景文字檢測(cè)的傳統(tǒng)圖像處理方法大多基于筆畫部件的滑窗檢測(cè)，代表有Xu-Cheng Yin等人在2014年TPAMI期刊上發(fā)表一種使用MSERs算法來(lái)產(chǎn)生字符候選區(qū)域再構(gòu)建文本行并使用分類器分類的方法檢測(cè)文本；Lei Sun,Qiang Huo等人2015年在Pattern Recognition期刊上發(fā)表一種基于圖像顏色增強(qiáng)對(duì)比極值來(lái)提取文字區(qū)域的方法；Hojin Cho等人在2016年國(guó)際會(huì)議CPVR上發(fā)表一種基于Canny算子計(jì)算圖像中文字邊緣信息的快速檢測(cè)文本方法。這些傳統(tǒng)方法在實(shí)際應(yīng)用場(chǎng)景中檢測(cè)準(zhǔn)確率較低，達(dá)不到令人滿意的效果。

近年來(lái)受益于深度學(xué)習(xí)的蓬勃發(fā)展，靜態(tài)圖像場(chǎng)景文字檢測(cè)性能有了極大提升。Ankush Gupta等人在2016年國(guó)際會(huì)議CVPR上提出一種基于回歸的全卷積網(wǎng)絡(luò)，兼顧速率和精度，但是其使用合成數(shù)據(jù)訓(xùn)練，在真實(shí)場(chǎng)景中對(duì)文字的召回率較低；Bai等人在2017年的AAAI上提出了一個(gè)從檢測(cè)文本到識(shí)別文本的端到端的方法，可以利用帶字典的文字識(shí)別進(jìn)行檢測(cè)結(jié)果調(diào)整，實(shí)驗(yàn)取得良好結(jié)果，在圖像700*700像素下檢測(cè)速度達(dá)到11幀每秒；Jin等人在2017年的CVPR提出使用任意四邊形檢測(cè)場(chǎng)景文本的方法，包括四邊形滑窗，四邊形重疊面積的快速計(jì)算，四邊形點(diǎn)的順序以及四邊形的回歸方法，使用了SSD作為基本框架，速度較快；Deng D等人在2018年AAAI上提出一種基于像素分割的文本檢測(cè)方法，利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)像素點(diǎn)進(jìn)行分類和8鄰域方向連接預(yù)測(cè)，通過連通域方法連接成文本，該方法精度高但是速度不到10幀每秒；Ma、Shao等人在2018年的IEEE-TMM中發(fā)表一種新型的基于旋轉(zhuǎn)文本的框架，提出旋轉(zhuǎn)區(qū)域候選網(wǎng)絡(luò)(RRPN)，旨在生成具有文本方向角信息的傾斜候選框，用于自然場(chǎng)景圖像中任意方向文本檢測(cè)，雖然精度高但是速度達(dá)不到實(shí)時(shí)應(yīng)用要求。

發(fā)明內(nèi)容

鑒于此，本發(fā)明提供了一種基于深度學(xué)習(xí)的視頻場(chǎng)景文本檢測(cè)方法、系統(tǒng)、設(shè)備及介質(zhì)，其引入了基于回歸的端到端深度卷積神經(jīng)網(wǎng)絡(luò)模型，達(dá)到較好的文本定位精準(zhǔn)性和實(shí)時(shí)幀率。

本發(fā)明的第一個(gè)目的在于提供一種基于深度學(xué)習(xí)的視頻場(chǎng)景文本檢測(cè)方法。

本發(fā)明的第二個(gè)目的在于提供一種基于深度學(xué)習(xí)的視頻場(chǎng)景文本檢測(cè)系統(tǒng)。

本發(fā)明的第三個(gè)目的在于提供一種計(jì)算機(jī)設(shè)備。

本發(fā)明的第四個(gè)目的在于提供一種存儲(chǔ)介質(zhì)。

本發(fā)明的第一個(gè)目的可以通過采取如下技術(shù)方案達(dá)到：

一種基于深度學(xué)習(xí)的視頻場(chǎng)景文本檢測(cè)方法，所述方法包括：

獲取靜態(tài)自然場(chǎng)景文本圖像數(shù)據(jù)；