[發明專利]自然場景文字識別方法及裝置

有效

• 申請號: 201811272122.0
• 申請日: 2018-10-30
• 公開（公告）號: CN109522900B
• 公開（公告）日: 2020-12-18
• 發明（設計）人: 鞠海玲;張默
• 申請（專利權）人: 北京陌上花科技有限公司
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06K9/62
• 代理公司: 北京卓唐知識產權代理有限公司 11541
• 代理人: 唐海力;李志剛

1.一種自然場景文字識別方法，其特征在于，包括：

將獲取的自然場景圖輸入實例分割網絡得到掩碼圖和像素圖；

將獲取的自然場景圖像輸入實例分割網絡得到掩碼圖和像素圖之后還包括：

判斷是否處于網絡模型的訓練階段；

如果是，則所述實例分割網絡接收實例分割標注；

將所述實例分割標注結合所述掩碼圖計算出分割誤差；

通過所述分割誤差在梯度反向傳播過程中優化所述網絡模型；

根據所述掩碼圖確定空間變換網絡的控制參數；

通過設置所述控制參數的空間變換網絡將所述像素圖變換成糾形圖；以及，

采用文字識別網絡識別出所述糾形圖中的文字序列。

2.根據權利要求1所述的自然場景文字識別方法，其特征在于，將獲取的自然場景圖輸入實例分割網絡得到掩碼圖和像素圖包括：

獲取自然場景圖；

實例分割網絡檢測得到讀入的所述自然場景圖的文本行實例的位置，并輸出掩碼圖；

根據所述文本行實例的位置計算出矩形邊界框；

裁減出所述矩形邊界框作為所述像素圖。

3.根據權利要求1所述的自然場景文字識別方法，其特征在于，根據所述掩碼圖確定空間變換網絡的控制參數包括：

空間變換網絡接收所述掩碼圖，并預測出文本行實例的關鍵點列表；

根據關鍵點列表計算所述空間變換網絡的控制參數。

4.根據權利要求1所述的自然場景文字識別方法，其特征在于，通過設置所述控制參數的空間變換網絡將所述像素圖變換成糾形圖之后還包括：

判斷是否處于網絡模型的訓練階段；

如果是，所述空間變換網絡接收實例關鍵點標注；

將所述實例關鍵點標注結合預測的關鍵點列表計算出關鍵點誤差；

通過所述關鍵點誤差在梯度反向傳播過程中優化所述網絡模型。

5.根據權利要求1所述的自然場景文字識別方法，其特征在于，采用文字識別網絡識別出所述糾形圖中的文字序列之后還包括：

判斷是否處于網絡模型的訓練階段；

如果是，所述文字識別網絡接收文字序列標注；

將所述文字序列標注結合所述文字序列計算出文字序列誤差；

通過所述文字序列誤差在梯度反向傳播過程中優化所述網絡模型。

6.一種自然場景文字識別裝置，其特征在于，包括：

輸入單元，用于將獲取的自然場景圖輸入實例分割網絡得到掩碼圖和像素圖；

還包括：

第一模型判斷單元，用于

判斷是否處于網絡模型的訓練階段，

如果是，則進入第一誤差計算單元；

所述第一誤差計算單元，用于

所述實例分割網絡接收實例分割標注；

將所述實例分割標注結合所述掩碼圖計算出分割誤差；

第一模型優化單元，用于

通過所述分割誤差的梯度反向傳播優化所述網絡模型；

確定單元，用于根據所述掩碼圖確定空間變換網絡的控制參數；

變換單元，用于通過設置所述控制參數的空間變換網絡將所述像素圖變換成糾形圖；以及，

識別單元，用于采用文字識別網絡識別出所述糾形圖中的文字序列。

7.根據權利要求6所述的自然場景文字識別裝置，其特征在于，還包括：

第二模型判斷單元，用于

判斷是否處于網絡模型的訓練階段，

如果是，則進入第二誤差計算單元；

第二誤差計算單元，用于

所述空間變換網絡接收實例關鍵點標注；

將所述實例關鍵點標注結合預測的關鍵點列表計算出關鍵點誤差；

第二模型優化單元，用于

通過所述關鍵點誤差的梯度反向傳播優化所述網絡模型。

8.根據權利要求6所述的自然場景文字識別裝置，其特征在于，還包括：

第三模型判斷單元，用于

判斷是否處于網絡模型的訓練階段，

如果是，則進入第三誤差計算單元；

第三誤差計算單元，用于

所述文字識別網絡接收文字序列標注；

將所述文字序列標注結合所述文字序列計算出文字序列誤差；

第三模型優化單元，用于

通過所述文字序列誤差的梯度反向傳播優化所述網絡模型。