[發明專利]基于弱監督的字符檢測器訓練方法、裝置、系統及介質

有效

• 申請號: 201711460633.0
• 申請日: 2017-12-28
• 公開（公告）號: CN108052937B
• 公開（公告）日: 2019-05-31
• 發明（設計）人: 章成全;劉家銘;韓鈞宇;丁二銳
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06K9/20
• 分類號: G06K9/20;G06K9/34
• 代理公司: 北京市鑄成律師事務所 11313
• 代理人: 張臻賢;徐瑞紅

本發明提出一種基于弱監督的字符檢測器訓練方法、裝置、文字檢測系統及計算機可讀存儲介質，其中基于弱監督的字符檢測器訓練方法包括：輸入待處理對象的粗粒度標注信息，粗粒度標注信息包括待處理對象的基于詞、文本條和/或行的標注信息；對粗粒度標注信息的多邊形進行分割，獲得所述待處理對象的字符的粗包圍盒；根據粗粒度標注信息，通過神經網絡模型獲得所述待處理對象的字符的預測包圍盒；根據粗包圍盒和所述預測包圍盒確定所述待處理對象的字符的精細包圍盒，將所述精細包圍盒的標注信息作為所述待處理對象的字符標注。本發明提供的實施例能夠使文字字符檢測器利用更多的文字檢測數據集進行訓練，使模型在字符級別的檢測精度顯著提高。

技術領域

本發明涉及信息技術領域，尤其涉及一種基于弱監督的字符檢測器訓練方法、裝置、文字檢測系統及計算機可讀存儲介質。

背景技術

在OCR(Optical Character Recognition，光學字符識別)文字檢測和識別領域中，由于單個字符級別標注方式(如字符位置的標注)所需花費的人力和物力非常巨大，所以現有的開源的一些真實場景數據集合傾向于標注整個詞或者文本條的整體外包圍輪廓和整詞、整條的文本信息。這樣的標注方式，一定程度上緩解了標注的難度和成本，但是也帶來了一些負面的影響，如使得一些經典的基于字符級別的文字檢測方法沒法有效地在這些基于詞、文本條標注的真實場景數據上進行訓練和調整。從視覺的角度出發，無論語種如何變化，字符是文字的最基準單元?；谧址麊卧霭l的文字檢測方法，更容易構建通用場景下(包含水平、多方向、扭曲和透射等)的文字檢測引擎。因此根據現有的標注數據集中基于詞、文本條或行標注信息自動生成字符標注信息是目前需要解決的問題。

發明內容

本發明實施例提供一種基于弱監督的字符檢測器訓練方法、裝置、文字檢測系統及計算機可讀存儲介質，以至少解決現有技術中的以上技術問題。

第一方面，本發明實施例提供了一種基于弱監督的字符檢測器訓練方法，包括：輸入待處理對象的粗粒度標注信息，所述粗粒度標注信息包括待處理對象的基于詞、文本條和/或行的標注信息；對所述粗粒度標注信息的多邊形進行分割，獲得所述待處理對象的字符的粗包圍盒；根據所述粗粒度標注信息，通過神經網絡模型獲得所述待處理對象的字符的預測包圍盒；根據所述粗包圍盒和所述預測包圍盒確定所述待處理對象的字符的精細包圍盒，將所述精細包圍盒的標注信息作為所述待處理對象的字符標注。

結合第一方面，本發明在第一方面的第一種實施方式中，所述基于詞、文本條和/或行的標注信息為詞、文本條和/或行的整體外包圍輪廓，所述整體外包圍輪廓包括多邊形或矩形框。

結合第一方面，本發明在第一方面的第二種實施方式中，對所述粗粒度標注信息的多邊形進行分割，獲得所述待處理對象的字符的粗包圍盒，包括：將所述粗粒度標注信息的多邊形進行N等分，其中,與所述多邊形的長軸垂直的方向為分割線的方向，N為所述粗粒度標注信息中的字符個數，或者N為所述多邊形長軸長度除以最短邊長度的商的四舍五入式取整數值。

結合第一方面，本發明在第一方面的第三種實施方式中，根據所述粗包圍盒和所述預測包圍盒確定所述待處理對象的字符的精細包圍盒，包括：判斷第一條件和第二條件是否同時滿足，所述第一條件為所述預測包圍盒的置信度大于預設的置信度閾值，所述第二條件為所述粗包圍盒和所述預測包圍盒的交疊比大于預設的交疊比閾值；若所述第一條件和所述第二條件同時滿足，則根據所述預測包圍盒調整所述粗包圍盒，生成所述精細包圍盒；若所述第一條件不滿足或所述第二條件不滿足，則將所述粗包圍盒賦值給所述精細包圍盒。

結合第一方面的第二種實施方式，本發明在第一方面的第四實施方式中，根據所述預測包圍盒調整所述粗包圍盒，生成所述精細包圍盒，包括：判斷所述粗粒度標注信息的多邊形長軸與橫軸的夾角是否小于等于45°；若是則將所述粗包圍盒的上下邊界作為所述精細包圍盒的上下邊界，將所述預測包圍盒的左右邊界作為所述精細包圍盒的左右邊界；若否則將所述粗包圍盒的上下邊界作為所述精細包圍盒的左右邊界，將所述預測包圍盒的左右邊界作為所述精細包圍盒的上下邊界。