[發(fā)明專利]一種基于人機協(xié)同的場景文本識別方法

在審

• 申請?zhí)枺?/td>: 201911057325.2
• 申請日: 2019-10-31
• 公開（公告）號: CN110796143A
• 公開（公告）日: 2020-02-14
• 發(fā)明（設(shè)計）人: 朱鵬飛;馬永娟;胡清華
• 申請（專利權(quán)）人: 天津大學(xué)
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/62;G06N3/04
• 代理公司: 11407 北京彭麗芳知識產(chǎn)權(quán)代理有限公司
• 代理人: 胡若玲

本發(fā)明公開了一種基于人機協(xié)同的場景文本識別方法，包括以下步驟：S1、對已有的場景文本數(shù)據(jù)集做初步處理，從中選取預(yù)訓(xùn)練數(shù)據(jù)集、訓(xùn)練集和測試集；S2、使用預(yù)訓(xùn)練數(shù)據(jù)集訓(xùn)練SEE網(wǎng)絡(luò)，得到預(yù)訓(xùn)練模型；S3、采用預(yù)訓(xùn)練模型對未標(biāo)記的訓(xùn)練集進行預(yù)測，根據(jù)模型對未標(biāo)記訓(xùn)練集生成的預(yù)測標(biāo)簽置信度的高低，將未標(biāo)記訓(xùn)練集分為Hard sample和Easy sample；對Hard sample進行人工標(biāo)注，對Easy sample用模型進行偽標(biāo)注，然后用標(biāo)注后的樣本微調(diào)場景文本識別模型；S4、重復(fù)步驟S3，直至模型的性能達到預(yù)期要求。本發(fā)明既能減少場景文本數(shù)據(jù)集標(biāo)注成本又能提高文字識別模型性能。

技術(shù)領(lǐng)域

本發(fā)明涉及端到端的場景文本識別領(lǐng)域，尤其涉及一種基于人機協(xié)同的場景文本識別方法。

背景技術(shù)

場景文本識別是指對包含文字信息的真實場景圖片中的文字的識別。場景文本識別技術(shù)不僅可以用于圖片理解、圖片搜索，還可以輔助機器人導(dǎo)航和自動駕駛等應(yīng)用。由于場景文本識別技術(shù)對推進社會自動化和智能化具有不可替代的作用，所以該技術(shù)自提出以來就持續(xù)受到研究者的關(guān)注。

近年來隨著深度神經(jīng)網(wǎng)絡(luò)的發(fā)展，目前基于深度學(xué)習(xí)的文本識別技術(shù)不但可以實現(xiàn)端到端的場景文本識別，而且可以提高文字識別的準(zhǔn)確度，超越了傳統(tǒng)的場景文字識別方法。

2017年Li，H等人發(fā)表了論文“Towards end-to-end text spotting withconvolutiona l recurrent neural network”，該論文提出了一種包含單個DNN(深度神經(jīng)網(wǎng)絡(luò))的端到端文本檢測和文本識別系統(tǒng)。但是此系統(tǒng)需要對輸入圖片上的每個word提供groundtruth bounding boxes(真實邊界框)和groundtruth labels(真實標(biāo)簽)兩種標(biāo)注。

2018年Christian Bartz等人在AAAl上發(fā)表的會議論文“SEE：Towards Semi-Supervised End-to-End Scene Text Recognition”對2017年Li等人提出的系統(tǒng)的標(biāo)注方法進行了改進。改進后的方法只需對輸入圖片上的每個word提供groundtruth labels，由網(wǎng)絡(luò)自學(xué)習(xí)完成文本檢測。但是改進后的方法仍然對訓(xùn)練數(shù)據(jù)集的要求很高，它不僅需要海量的包含文字信息的場景圖像數(shù)據(jù)，同時還需要提供這些圖像上的所有文字標(biāo)簽。導(dǎo)致數(shù)據(jù)集的標(biāo)注不但耗時耗力，而且顯著地增加了標(biāo)注成本。

目前，讓機器代替人顯著的減少標(biāo)注代價，使用到的方法主要有：AL(主動學(xué)習(xí))，漸進學(xué)習(xí)等。AL會抽取那些比較“難”分類的樣本，即每次都挑選當(dāng)前分類器分類效果不理想的那些樣本進行訓(xùn)練。因此AL主要關(guān)注樣本選擇策略，即如何挑選最具信息性的未標(biāo)記樣本進行標(biāo)記。最常見的樣本選擇策略是基于不確定性準(zhǔn)測和差異性準(zhǔn)則的選擇，根據(jù)對當(dāng)前的未標(biāo)記樣本的預(yù)測置信度來度量不確定性，把不確定性高的且與已標(biāo)記樣本差異性大的未標(biāo)記樣本送去人工標(biāo)注。AL方法通常強調(diào)那些低置信度樣本，而忽略其余大多數(shù)高置信度樣本。

漸進學(xué)習(xí)往往要和協(xié)同訓(xùn)練聯(lián)系到一起。CL(課程學(xué)習(xí))是第一個采用逐漸將樣本添加到訓(xùn)練數(shù)據(jù)集中的漸進學(xué)習(xí)范例，這些樣本以受控且有意義(例如，從易到復(fù)雜)的順序加入稱為課程。CL已被廣泛用于解決各種計算機視覺問題，例如：跟蹤和目標(biāo)檢測。但是，現(xiàn)有技術(shù)中尚未有將主動學(xué)習(xí)和漸進學(xué)習(xí)結(jié)合起來應(yīng)用到文字識別領(lǐng)域的相關(guān)工作。

發(fā)明內(nèi)容

為解決需要用大量帶groundtruth labels的場景文本圖片才能很好地訓(xùn)練面向端到端的場景文本識別系統(tǒng)，而獲取場景文本圖片的groundtruth labels耗時耗力、增加成本這一問題，本發(fā)明提供了一種既能減少場景文本數(shù)據(jù)集標(biāo)注成本又能提高文字識別模型性能的標(biāo)注方法，將主動學(xué)習(xí)和漸進學(xué)習(xí)相結(jié)合，把人機協(xié)同概念融入到模型訓(xùn)練過程，實現(xiàn)了用大量未帶標(biāo)簽的數(shù)據(jù)集逐步微調(diào)預(yù)訓(xùn)練得到的文字識別模型并輸出帶偽標(biāo)簽的場景文本數(shù)據(jù)集。

為實現(xiàn)上述目的，本發(fā)明采取的技術(shù)方案為：