[發(fā)明專利]一種基于深度學(xué)習(xí)OCR的圖書館圖書快速定位方法

有效

• 申請?zhí)枺?/td>: 201910326586.3
• 申請日: 2019-04-23
• 公開（公告）號: CN110321894B
• 公開（公告）日: 2021-11-23
• 發(fā)明（設(shè)計）人: 方路平;盛邱煬;潘清;李心怡;曹平
• 申請（專利權(quán)）人: 浙江工業(yè)大學(xué)
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06K9/32;G06T7/187
• 代理公司: 杭州斯可睿專利事務(wù)所有限公司 33241
• 代理人: 王利強(qiáng)

一種基于深度學(xué)習(xí)OCR的圖書館圖書快速定位方法，包括以下步驟：(1)書脊識別準(zhǔn)備：拍攝目標(biāo)書籍所在書架區(qū)域的照片作為輸入圖像，并輸入目標(biāo)書籍的編號；(2)標(biāo)簽區(qū)域檢測：使用FCN?32定位輸入圖像中的標(biāo)簽區(qū)域，將標(biāo)簽區(qū)域子圖切割出饋送至(3)；(3)標(biāo)簽文字識別：使用卷積模塊+序列模塊+解譯模塊三層模塊級聯(lián)的深度學(xué)習(xí)OCR方法識別標(biāo)簽區(qū)域子圖中的文字，即識別出書籍編號，并被饋送至(4)；(4)目標(biāo)書籍定位步驟：將識別出的所有書籍編號與讀者輸入的目標(biāo)書籍編號進(jìn)行相似性匹配，相似性最高的書籍編號對應(yīng)的文字區(qū)域在照片中被醒目標(biāo)識出來。本發(fā)明在查閱圖書時能更快更方便地找出目標(biāo)書籍。

技術(shù)領(lǐng)域

本發(fā)明涉及光學(xué)字符識別、深度學(xué)習(xí)領(lǐng)域，具體為一種基于深度學(xué)習(xí)OCR的圖書館圖書快速定位方法。

背景技術(shù)

圖書館是整理、收藏圖書供人閱覽的機(jī)構(gòu)，是人們最常用的獲取信息的渠道之一。人們?nèi)D書館查閱圖書時，通常會首先使用終端主機(jī)查閱目標(biāo)書籍的館藏信息，了解其所在區(qū)域。圖書在書架上的擺放很密集，標(biāo)簽字體很小，找出目標(biāo)書籍需逐一辨別書名或標(biāo)簽，比較吃力，對于視力不佳者、行動不便者而言尤其如此。使用技術(shù)手段來協(xié)助人們方便快捷地從書架上定位目標(biāo)書籍具有現(xiàn)實(shí)意義。

圖書館的圖書通常以一定的規(guī)則被編號收錄。其編號及部分基本信息記錄在一張矩形標(biāo)簽上，而矩形標(biāo)簽則被粘貼在圖書的書脊上。圖書的擺放形式通常是書脊朝外的，以便讀者查閱。如果能利用智能手機(jī)的拍照功能并對于照片中的圖書標(biāo)簽進(jìn)行自動定位識別，則可以幫助讀者快速找到目標(biāo)書籍。傳統(tǒng)的基于模板匹配或支持向量機(jī)的OCR(OpticalCharacter Recognition，光學(xué)字符識別)算法通常要求文字版面簡單可分性強(qiáng)，字體工整。對于識別圖書館圖書標(biāo)簽文字而言，傳統(tǒng)OCR技術(shù)易受到場景的復(fù)雜性(如光照、不相關(guān)文字區(qū)域)，文字的復(fù)雜性(如字號、字體)等問題的干擾，達(dá)不到較好的識別效果。

發(fā)明內(nèi)容

針對已有圖書館圖書查閱方式不方便的問題，為了使人們可以在查閱圖書時更快更方便地找出目標(biāo)書籍，本發(fā)明提供了一種基于深度學(xué)習(xí)OCR的圖書館圖書快速定位方法。

本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：

一種基于深度學(xué)習(xí)OCR的圖書館圖書快速定位方法，設(shè)讀者已通過查閱圖書館終端主機(jī)等方式獲知目標(biāo)書籍所在區(qū)域，以及目標(biāo)書籍的編號，包括以下步驟：

(1)書脊識別準(zhǔn)備：拍攝目標(biāo)書籍所在書架區(qū)域的照片作為輸入圖像，并輸入目標(biāo)書籍的編號；

(2)標(biāo)簽區(qū)域檢測：使用FCN-32定位輸入圖像中的標(biāo)簽區(qū)域，并將標(biāo)簽區(qū)域子圖切割出饋送至下一步驟；

(3)標(biāo)簽文字識別：使用基于卷積模塊+序列模塊+解譯模塊三層模塊級聯(lián)的深度學(xué)習(xí)OCR方法識別標(biāo)簽區(qū)域子圖中的文字，即識別出書籍編號，識別出的書籍編號被饋送至下一步驟；所述標(biāo)簽文字識別的過程如下：

(31)接受步驟(2)中獲得的標(biāo)簽區(qū)域子圖，調(diào)整至固定尺寸，輸入至三層深度OCR網(wǎng)絡(luò)中進(jìn)行文字行識別；

(32)卷積模塊基于傳統(tǒng)深度卷積網(wǎng)絡(luò)和STN(Spatial Transformer Network，空間變換網(wǎng)絡(luò))結(jié)構(gòu)實(shí)現(xiàn)，接受固定尺寸的標(biāo)簽區(qū)域子圖，并提取其所包含的不同方向、字號、字體的文字的字符特征；

(33)序列模塊基于兩個疊加的雙向LSTM(Bi-directional Long Short-TermMemory Network，長短期記憶網(wǎng)絡(luò))實(shí)現(xiàn)，接受來自卷積模塊的字符特征序列，并預(yù)測特征序列中每一幀的標(biāo)簽分布；

(34)解譯模塊基于CTC(Connectionist Temporal Classification，聯(lián)結(jié)時序分類器)實(shí)現(xiàn)，解譯是將序列模塊輸出的每幀類別預(yù)測轉(zhuǎn)換為標(biāo)簽文字序列的過程，在網(wǎng)絡(luò)訓(xùn)練階段，CTC被當(dāng)作損失函數(shù)使用，避免了訓(xùn)練數(shù)據(jù)的額外對齊處理，以實(shí)現(xiàn)端到端的訓(xùn)練；