[發(fā)明專利]基于深度學(xué)習(xí)的弱監(jiān)督電力圖紙OCR識別方法

在審

• 申請?zhí)枺?/td>: 202010714478.6
• 申請日: 2020-07-21
• 公開（公告）號: CN111860348A
• 公開（公告）日: 2020-10-30
• 發(fā)明（設(shè)計）人: 王杉;李昊;石瑋;朱玉錦;高連學(xué);王黎;孫萬珺;苗純源;甘甜
• 申請（專利權(quán)）人: 國網(wǎng)山東省電力公司青島供電公司;國家電網(wǎng)有限公司;山東大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/34;G06N3/04;G06N3/08
• 代理公司: 濟南竹森知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 37270
• 代理人: 呂利敏

本發(fā)明公開了一種基于深度學(xué)習(xí)的弱監(jiān)督電力圖紙OCR識別方法，屬于電力圖紙智能識別技術(shù)領(lǐng)域，所述方法包括：利用預(yù)先訓(xùn)練好的文本檢測模型對待識別圖像進行檢測，預(yù)測出整個單詞級別的文本區(qū)域框；對預(yù)測出的文本區(qū)域框進行文字識別：對于豎直文本采用字符切割得到單個字符文本，對于水平文本則直接使用文本行，之后再通過CNN+BiLSTM+CTC模型進行識別；對得到的識別結(jié)果進行后處理：通過先驗知識對結(jié)果進行判定和修改來提高準確率。本發(fā)明對圖紙中水平豎直文本并存的情況能夠準確檢測出兩種文本的區(qū)域，對圖紙中中文、英文、數(shù)字混合的情況能夠準確識別出其文字，并且本發(fā)明識別速度快，成本低。

技術(shù)領(lǐng)域

本發(fā)明涉及電力圖紙智能識別技術(shù)領(lǐng)域，特別是指一種基于深度學(xué)習(xí)的弱監(jiān)督電力圖紙OCR識別方法。

背景技術(shù)

目前，智慧電力在我國電網(wǎng)系統(tǒng)的應(yīng)用逐步開展，智慧電力將電能流和信息流結(jié)合在一起，實現(xiàn)能源傳輸?shù)耐瑫r實現(xiàn)數(shù)據(jù)的采集。但是我國電力系統(tǒng)發(fā)展迅速的同時也會帶來相當(dāng)巨大的工作量，尤其對于電力系統(tǒng)中的圖紙，圖紙中的文字符號眾多，字體相對偏小而且文本方向不統(tǒng)一，通過人工獲取圖中的信息，將會耗費過多時間并且準確率也無法得到保證。例如像變電站一次接線圖，它采用規(guī)定的設(shè)備文字和圖形符號并按照工作順序排列，詳細地表示電氣設(shè)備或成套裝備的全部基本組成和連接關(guān)系。但是其中的文字類型較多，而且相對圖片本身它的字體過小，人工讀取將會非常的耗時耗力。

為解決上述問題，近年來有許多研究工作基于計算機視覺以解決對圖像中的文字進行OCR(Optical Character Recognition，光學(xué)字符識別)識別等問題。然而現(xiàn)有的OCR識別技術(shù)主要是基于詞的水平上并只針對水平文本進行識別，例如CTPN(ConnectionistText Proposal Network，連接文本提議網(wǎng)絡(luò))和CRNN(Convolutional Recurrent NeuralNetwork，卷積循環(huán)神經(jīng)網(wǎng)路)都只針對水平文本，而像EAST(Efficient and AccuracyScene Text，高效和準確的場景文本檢測)這種可以檢測多方向文本的模型又因為感受野過小不能獲得理想的檢測效果。所以針對圖紙中存在的水平豎直文本并存，中文、英文、數(shù)字混合的情況現(xiàn)有的主流方法沒有良好的魯棒性。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題是提供一種基于深度學(xué)習(xí)的弱監(jiān)督電力圖紙OCR識別方法，本發(fā)明旨在利用深度學(xué)習(xí)和傳統(tǒng)計算機視覺處理技術(shù)相結(jié)合的方式，對電力系統(tǒng)中的圖紙的文本進行OCR識別。針對圖紙中存在的水平豎直文本并存的情況做到能夠準確檢測出兩種文本的區(qū)域。針對圖紙中中文、英文、數(shù)字混合的情況本發(fā)明能夠準確識別出其文字。在此基礎(chǔ)上還要提高識別的速度并且降低使用的成本。

為解決上述技術(shù)問題，本發(fā)明提供技術(shù)方案如下：

一種基于深度學(xué)習(xí)的弱監(jiān)督電力圖紙OCR識別方法，包括：

利用預(yù)先訓(xùn)練好的文本檢測模型對待識別圖像進行檢測，通過檢測每個文字字符的區(qū)域與文字字符的相互關(guān)系，預(yù)測出整個單詞級別的文本區(qū)域框，其中所述文本檢測模型對每個單詞級別的標注區(qū)域使用弱監(jiān)督訓(xùn)練學(xué)習(xí)字符特性；

對預(yù)測出的文本區(qū)域框進行文字識別：對于豎直文本采用字符切割得到單個字符文本，對于水平文本則直接使用文本行，之后再通過CNN+BiLSTM+CTC模型進行識別；

對得到的識別結(jié)果進行后處理：通過先驗知識對結(jié)果進行判定和修改來提高準確率。

根據(jù)本發(fā)明優(yōu)選的，所述利用預(yù)先訓(xùn)練好的文本檢測模型對待識別圖像進行檢測，通過檢測每個文字字符的區(qū)域與文字字符的相互關(guān)系，預(yù)測出整個單詞級別的文本區(qū)域框之前，包括：

對電力系統(tǒng)圖紙進行切割，得到預(yù)設(shè)尺寸范圍內(nèi)的待識別圖像。

根據(jù)本發(fā)明優(yōu)選的，所述文本檢測模型的訓(xùn)練包括：

數(shù)據(jù)集使用兩種：字符級標簽的強數(shù)據(jù)集和單詞級標簽的弱數(shù)據(jù)集；