[發明專利]文本圖像標注系統、方法、計算機設備和存儲介質

有效

• 申請號: 202010548848.3
• 申請日: 2020-06-16
• 公開（公告）號: CN111898411B
• 公開（公告）日: 2021-08-31
• 發明（設計）人: 黃雙萍;鄭銳佳;李智龍;李南鵬;楊代輝;李曉輝;吳淦浩;劉伏根
• 申請（專利權）人: 華南理工大學;中通服建設有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06K9/46
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 毛丹

1.一種文本圖像標注系統，其特征在于，所述系統包括：

前端網頁模塊，用于提供文本圖像標注界面；以使多個用戶通過網頁訪問所述文本圖像標注界面，對待標注文本圖像進行標注；

后臺處理模塊，用于接收所述前端網頁模塊上發的請求，對所述請求進行處理，包括接收預標注請求，獲取所述預標注請求對應的待標注文本圖像，調用文本圖像預標注模塊，對所述待標注文本圖像進行預標注，將預標注結果發送至前端網頁模塊；

文本圖像預標注模塊，用于對所述待標注文本圖像進行實例分割得到候選文本框集合；基于最小函數和交集運算，對所述候選文本框集合中的各個候選文本框進行計算，得到所述各個候選文本框之間的重疊度；根據所述重疊度在所述候選文本框集合中選取得到至少一個目標文本框，生成目標文本框集合；

確定所述目標文本框集合中各個目標文本框對應的目標特征區域，對所述目標特征區域進行掩碼操作，得到掩碼特征區域，計算所述掩碼特征區域的長度作為掩碼長度，計算所述掩碼特征區域的寬度，作為掩碼寬度，計算所述掩碼長度與所述掩碼寬度的比值，將計算得到的比值作為掩碼長寬比值，根據所述掩碼長寬比值，對所述掩碼特征區域進行池化，得到所述待標注文本圖像的文本特征集合，所述文本特征集合中的文本特征的長度與寬度的比值與對應的掩碼特征區域的掩碼長寬比值一致；

對所述文本特征集合進行編碼，得到文本特征編碼集合，將所述文本特征編碼集合中的文本特征編碼分別進行分塊，得到多個文本特征編碼塊，對所述文本特征編碼塊進行解碼，得到各個所述文本特征編碼塊對應的字符，將相鄰的相同字符刪除至僅剩一個字符，得到所述待標注文本圖像中各個目標特征區域的文本識別結果，根據所述文本識別結果確定所述目標特征區域的文本標簽，根據所述文本標簽對所述目標特征區域進行標注，得到所述待標注文本圖像的預標注結果；

所述前端網頁模塊，還用于接收修正指令，根據所述修正指令對所述預標注結果進行修正，得到標注結果。

2.根據權利要求1所述的系統，其特征在于，所述前端網頁模塊包括：

身份驗證模塊，用于獲取用戶的身份信息，將所述身份信息發送至后臺處理模塊，以使所述后臺處理模塊獲取用戶信息，根據所述用戶信息和所述身份信息對所述用戶進行身份驗證；

圖像顯示模塊，用于當通過身份驗證時，獲取與所述身份信息關聯的文本圖像集合，顯示所述文本圖像集合中的文本圖像；

圖像標注模塊，用于提供標注操作的接口，所述標注操作包括預標注操作和標注修正操作。

3.根據權利要求1所述的系統，其特征在于，所述文本圖像預標注模塊還用于計算所述候選文本框集合中各個候選文本框的面積；獲取所述候選文本框集合中各個候選文本框的檢測分數；根據所述各個候選文本框的檢測分數，在所述候選文本框集合中選取得到第一候選文本框；將所述第一候選文本框的面積分別與各個非第一候選文本框的面積進行最小函數運算，得到最小函數運算結果；將所述第一候選文本框分別與所述各個非第一候選文本框進行交集運算，得到所述第一候選文本框和所述各個非第一候選文本框之間的重疊面積；計算所述重疊面積與所述最小函數運算結果間的比值，得到所述第一候選文本框與所述各個非第一候選文本框之間的重疊度；當所述重疊度大于預設閾值時，去除所述非第一候選文本框，將所述第一候選文本框作為目標文本框；更新所述候選文本框集合，返回所述根據所述各個候選文本框的檢測分數，在所述候選文本框集合中選取得到第一候選文本框的步驟，直至所述候選文本框集合中的候選文本框的個數為零，生成目標文本框集合。

4.根據權利要求1所述的系統，其特征在于，所述文本圖像預標注模塊還用于通過掩碼區域卷積神經網絡對所述待標注文本圖像進行實例分割得到候選文本框集合；通過復用所述掩碼區域卷積神經網絡中的特征金字塔網絡，得到所述待標注文本圖像的特征圖；在所述特征圖中確定所述目標文本框集合中各個目標文本框對應的目標特征區域；基于側連殘差的視覺幾何組卷積神經網絡和連接時序分類網絡對所述待標注文本圖像的文本特征集合進行識別和標注，得到所述待標注文本圖像的預標注結果。