[發明專利]圖像翻譯方法、裝置及存儲介質

在審

• 申請號: 202010130910.7
• 申請日: 2020-02-28
• 公開（公告）號: CN111382748A
• 公開（公告）日: 2020-07-07
• 發明（設計）人: 李京蔚
• 申請（專利權）人: 北京小米松果電子有限公司
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06K9/62;G06N3/04;G06N3/08;G06F40/42
• 代理公司: 北京鉦霖知識產權代理有限公司 11722
• 代理人: 李英艷;馮志云

1.一種圖像翻譯方法，其特征在于，包括：

從待翻譯圖像中裁剪出包含第一語言文字的至少一個局部圖像；

將所述至少一個局部圖像輸入圖像翻譯模型，從所述圖像翻譯模型輸出與每一個局部圖像對應的翻譯文本，所述翻譯文本中包括與所述第一語言文字具有相同語義的第二語言文字。

2.根據權利要求1所述的圖像翻譯方法，其特征在于，所述圖像翻譯模型包括卷積神經子網絡和翻譯子網絡；

將所述至少一個局部圖像輸入圖像翻譯模型，從所述圖像翻譯模型輸出與每一個局部圖像對應的翻譯文本，包括：

基于所述卷積神經子網絡提取所述至少一個局部圖像的圖像特征向量；

對提取到的特征向量進行序列化處理得到序列化圖像特征向量；

基于所述翻譯子網絡對所述序列化圖像特征向量進行識別，得到包含所述第二語言文字的翻譯文本。

3.根據權利要求1或2所述的圖像翻譯方法，其特征在于，所述方法還包括：

基于圖像翻譯樣本集預先訓練得到所述圖像翻譯模型；

其中，所述圖像翻譯樣本集包括多對訓練樣本，所述多對訓練樣本中的每一對訓練樣本包括圖像樣本以及與圖像樣本對應的文本樣本，

所述圖像樣本中包含第一語言文字，所述文本樣本中包含與第一語言文字具有相同語義的第二語言文字。

4.根據權利要求3所述的圖像翻譯方法，其特征在于，所述方法還包括：

基于雙語文本樣本集預先訓練得到所述圖像翻譯樣本集。

5.根據權利要求4所述的圖像翻譯方法，其特征在于，所述基于雙語文本樣本集預先訓練得到所述圖像翻譯樣本集，包括：

確定雙語文本樣本集，所述雙語文本樣本集包括多對文本訓練樣本，所述多對文本訓練樣本中的每一對文本訓練樣本包括第一語言文本樣本，以及與所述第一語言文本樣本具有相同語義的第二語言文本樣本；

將所述雙語文本樣本集中的第一語言文本樣本轉換為包含第一語言文字的圖像樣本；

將所述圖像樣本與所述第二語言文本樣本關聯，得到所述圖像翻譯樣本集。

6.根據權利要求3所述的圖像翻譯方法，其特征在于，所述基于圖像翻譯樣本集預先訓練得到所述圖像翻譯模型，包括：

通過卷積神經子網絡提取所述圖像翻譯樣本集中的多對圖像樣本的特征向量；

通過翻譯子網絡對所述特征向量進行預測，得到包含第二語言文字的預測文本；

基于損失函數調整卷積神經子網絡和翻譯子網絡的訓練參數，得到滿足損失值的圖像翻譯模型；

其中，所述損失函數依據卷積神經子網絡訓練參數、翻譯子網絡訓練參數、圖像翻譯樣本集中訓練樣本數量確定。

7.一種圖像翻譯裝置，其特征在于，包括：

獲取單元，被配置為從待翻譯圖像中裁剪出包含第一語言文字的至少一個局部圖像；

處理單元，被配置為將所述至少一個局部圖像輸入圖像翻譯模型，從所述圖像翻譯模型輸出與每一個局部圖像對應的翻譯文本，所述翻譯文本中包括與所述第一語言文字具有相同語義的第二語言文字。

8.根據權利要求7所述的圖像翻譯裝置，其特征在于，所述圖像翻譯模型包括卷積神經子網絡和翻譯子網絡；

所述處理單元采用如下方式將所述至少一個局部圖像輸入圖像翻譯模型，從所述圖像翻譯模型輸出與每一個局部圖像對應的翻譯文本：

基于所述卷積神經子網絡提取所述至少一個局部圖像的圖像特征向量；

對提取到的所述特征向量進行序列化處理，得到序列化圖像特征向量；

基于所述翻譯子網絡對所述序列化圖像特征向量進行識別，得到包含所述第二語言文字的翻譯文本。