[發明專利]一種涂抹圖像的復原方法、裝置及存儲介質和終端設備

有效

• 申請號: 202010165846.6
• 申請日: 2020-03-11
• 公開（公告）號: CN111402156B
• 公開（公告）日: 2021-08-03
• 發明（設計）人: 汪翔;黃珊
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06K9/20;G06N3/04;G06N3/08;G06N20/00;G06F16/27
• 代理公司: 深圳翼盛智成知識產權事務所(普通合伙) 44300
• 代理人: 汪阮磊

1.一種涂抹圖像的復原方法，其特征在于，包括：

確定復原初始網絡，所述復原初始網絡包括生成器；

確定訓練樣本，所述訓練樣本中包括多對樣本圖像，每一對樣本圖像中包括涂抹樣本圖像和對應的原始樣本圖像，所述涂抹樣本圖像中有涂抹軌跡覆蓋原始字符；

通過所述復原初始網絡中的生成器分別對各個涂抹樣本圖像進行復原得到復原樣本圖像；

對所述生成器得到的復原樣本圖像進行字符識別，及根據所述字符識別的結果確定所述復原樣本圖像的字符識別錯誤信息；

根據所述字符識別錯誤信息及所述生成器得到的復原樣本圖像和所述訓練樣本中的原始樣本圖像，計算與所述生成器相關的第一損失函數，及根據所述第一損失函數調整所述生成器中的參數值，以得到最終的生成器，所述最終的生成器用于對待復原涂抹圖像進行復原；

所述字符識別錯誤信息為錯誤標識矩陣，所述錯誤標識矩陣中任一位置的元素用于表示所述復原樣本圖像中某一區域的字符識別是否錯誤的信息；

所述根據所述字符識別錯誤信息及所述生成器得到的復原樣本圖像和所述訓練樣本中的原始樣本圖像，計算與所述生成器相關的第一損失函數，具體包括：

計算所述第一損失函數包括：所述復原樣本圖像的信息與原始樣本圖像的信息之間的差值，與對應的錯誤標識矩陣的第一乘積；

或者，計算所述第一損失函數包括：所述復原樣本圖像的信息與原始樣本圖像的信息之間的差值與第一乘積的加權計算值，所述第一乘積為根據所述復原樣本圖像的信息與原始樣本圖像的信息之間的差值，與對應的錯誤標識矩陣確定的。

2.如權利要求1所述的方法，其特征在于，所述計算與所述生成器相關的第一損失函數之前，還包括：

根據所述涂抹樣本圖像及對應的原始樣本圖像，確定所述涂抹樣本圖像的涂抹區域信息；

所述根據所述字符識別錯誤信息及所述生成器得到的復原樣本圖像和所述訓練樣本中的原始樣本圖像，計算與所述生成器相關的第一損失函數，具體包括：根據所述涂抹區域信息、字符識別錯誤信息及所述生成器得到的復原樣本圖像和所述訓練樣本中的原始樣本圖像，計算與所述生成器相關的第一損失函數。

3.如權利要求2所述的方法，其特征在于，所述涂抹區域信息包括涂抹標識矩陣，所述涂抹標識矩陣中任一位置的元素用于表示所述涂抹樣本圖像中某一區域是否覆蓋涂抹軌跡的信息；

所述根據所述涂抹區域信息、字符識別錯誤信息及所述生成器得到的復原樣本圖像和所述訓練樣本中的原始樣本圖像，計算與所述生成器相關的第一損失函數，具體包括：

計算所述第一損失函數包括：所述復原樣本圖像的信息與原始樣本圖像的信息之間的差值、第二乘積與所述第一乘積的加權計算值，所述第二乘積為根據所述復原樣本圖像的信息與原始樣本圖像的信息之間的差值，與對應的涂抹標識矩陣所確定的。

4.如權利要求1至3任一項所述的方法，其特征在于，所述復原初始網絡還包括鑒別器，所述方法還包括：

通過所述鑒別器確定所述生成器得到的復原樣本圖像是復原圖像或是原始圖像，及通過所述鑒別器確定原始樣本圖像是復原圖像或是原始圖像；

根據所述字符識別錯誤信息及所述鑒別器得到的結果，計算與所述生成器相關的第二損失函數，及根據所述第二損失函數調整所述鑒別器中的參數值，以得到最終的鑒別器。

5.如權利要求4所述的方法，其特征在于，所述字符識別錯誤信息為錯誤標識矩陣，所述錯誤標識矩陣中任一位置的元素用于表示所述復原樣本圖像中某一區域的字符識別是否錯誤的信息；

所述根據所述字符識別錯誤信息及所述鑒別器得到的結果，計算與所述生成器相關的第二損失函數，具體包括：

計算所述第二損失函數包括：所述鑒別器得到的結果與鑒別器的監督信息之間的差值，與對應的錯誤標識矩陣的第三乘積；

或者，計算所述第二損失函數包括：所述鑒別器得到的結果與鑒別器的監督信息之間的差值與所述第三乘積的加權計算值。