[發明專利]翻譯圖片中的文字的方法、裝置、電子設備、及存儲介質

在審

• 申請號: 202010130584.X
• 申請日: 2020-02-28
• 公開（公告）號: CN111368562A
• 公開（公告）日: 2020-07-03
• 發明（設計）人: 李磊;曹軍;王明軒;錢舟
• 申請（專利權）人: 北京字節跳動網絡技術有限公司
• 主分類號: G06F40/58
• 分類號: G06F40/58;G06K9/00;G06T11/60
• 代理公司: 北京遠智匯知識產權代理有限公司 11659
• 代理人: 范坤坤

1.一種翻譯圖片中的文字的方法，其特征在于，包括：

識別嵌入在目標圖片中的文字，得到至少一個文本行，其中一個文本行對應一行文字；

對所述至少一個文本行進行段落合并，得到至少一個文本段；

將所述至少一個文本段翻譯成指定語種的目標文本段；

用所述目標文本段來替換所述目標圖片中的文字。

2.根據權利要求1所述的方法，其特征在于，在得到至少一個文本行之后所述方法還包括：

獲取各文本行對應文字的圖片特征，其中所述圖片特征包括頁邊距、字體大小、字體顏色、以及與相鄰行的行間距中的至少一項；

對所述至少一個文本行進行段落合并包括：

根據各文本行對應文字的圖片特征，對所述至少一個文本行進行段落合并。

3.根據權利要求2所述的方法，其特征在于，所述識別嵌入在目標圖片中的文字,得到至少一個文本行,獲取各文本行對應文字的圖片特征包括：

通過用于識別圖片文字的機器學習模型識別嵌入在所述目標圖片中的所述文字，得到至少一個文本行、以及各文本行對應文字的圖片特征。

4.根據權利要求2所述的方法，其特征在于，根據各文本行對應文字的圖片特征，對所述至少一個文本行進行段落合并包括：

通過用于將文本行合并為段落的機器學習模型根據各文本行對應文字的圖片特征，對所述至少一個文本行進行段落合并。

5.根據權利要求1所述的方法，其特征在于：

在得到至少一個文本行之后所述方法還包括：獲取各文本行對應文字的位置信息；

在得到至少一個文本段之后還包括：對任一文本段，根據該文本段所對應的各文本行對應圖片文字的位置信息，確定該文本段對應圖片文字的位置信息；

所述用所述目標文本段來替換所述目標圖片中的文字包括：將所述目標圖片中的文字擦除，對所述至少一個文本段，將該文本段的翻譯結果根據該文本段對應文字的位置信息進行排版后，根據該文本段對應文字的位置信息將排版結果嵌入到所述目標圖片中。

6.根據權利要求5所述的方法，其特征在于，所述排版包括調整頁邊距、調整框邊距、調整行邊距、調整字距、以及縮放處理中的至少一項。

7.一種翻譯圖片中的文字的裝置，其特征在于，包括：

文本行識別單元，用于識別嵌入在目標圖片中的文字，得到至少一個文本行，其中一個文本行對應一行文字；

段落合并單元，用于對所述至少一個文本行進行段落合并，得到至少一個文本段；

文字翻譯單元，用于將所述至少一個文本段翻譯成指定語種的目標文本段；

文字替換單元，用于用所述目標文本段來替換所述目標圖片中的文字。

8.一種電子設備，其特征在于，包括：

處理器；以及

存儲器，用于存儲可執行指令，所述可執行指令在被所述一個或多個處理器執行時，使得所述電子設備執行如權利要求1-6中任一項所述的方法。

9.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1-6任一項所述的方法。