[發明專利]圖像識別、文字排序方法及設備

在審

• 申請號: 202010106180.7
• 申請日: 2020-02-20
• 公開（公告）號: CN113283432A
• 公開（公告）日: 2021-08-20
• 發明（設計）人: 鄭琪;于智;李亮城;高飛宇;王永攀;張建鋒
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06F40/30
• 代理公司: 北京太合九思知識產權代理有限公司 11610
• 代理人: 柴艷波;劉戈

1.一種圖像識別方法，其特征在于，包括：

從待識別圖像中，識別出其中所包含的多個待排序文字信息；

根據所述多個待排序文字信息各自對應的特征，確定所述多個待排序文字信息的閱讀順序；其中，所述特征中攜帶有語義特征；

按照所述閱讀順序，對所述多個待排序文字信息進行排序，得到待排序文字信息序列。

2.根據權利要求1所述的方法，其特征在于，根據所述多個待排序文字信息各自對應的特征，確定所述多個待排序文字信息的閱讀順序，包括：

確定所述多個待排序文字信息間的鄰接關系；

綜合所述多個待排序文字信息各自對應的特征以及所述多個待排序文字信息間的鄰接關系，確定所述多個待排序文字信息的閱讀順序。

3.根據權利要求2所述的方法，其特征在于，綜合所述多個待排序文字信息各自對應的特征以及所述多個待排序文字信息間的鄰接關系，確定所述多個待排序文字信息的閱讀順序，包括：

根據所述多個待排序文字信息間的鄰接關系，構建具有節點和邊的圖結構；所述圖結構中的節點用來表示待排序文字信息；所述圖結構中的邊用來表示節點間是否鄰接；

將所述多個待排序文字信息各自對應的特征以及所述圖結構作為訓練好的圖卷積神經網絡模型的輸入，執行所述圖卷積神經網絡模型，以獲得所述多個待排序文字信息的閱讀順序。

4.根據權利要求3所述的方法，其特征在于，所述圖卷積神經網絡模型，用于：

根據所述多個待排序文字信息各自對應的特征以及所述圖結構，通過圖卷積操作，得到所述多個待排序文字信息各自對應的更新后特征；

根據所述多個待排序文字信息各自對應的更新后特征，確定所述多個待排序文字信息的閱讀順序。

5.根據權利要求4所述的方法，其特征在于，根據所述多個待排序文字信息各自對應的更新后特征，確定所述多個待排序文字信息的閱讀順序，包括：

綜合所述多個待排序文字信息各自對應的更新后特征，計算全局文字信息特征，以作為起始的參考特征；

根據所述參考特征以及所述多個待排序文字信息中尚未輸出的至少一個待排序文字信息各自對應的更新后特征，計算所述多個待排序文字信息中尚未輸出的至少一個待排序文字信息各自對應的注意力權重；

輸出最大注意力權重對應的待排序文字信息，并將所述最大注意力權重對應的待排序文字信息對應的更新后特征作為新的參考特征，繼續執行上述注意力權重計算步驟，直至所述多個待排序文字信息全部被輸出為止；

將所述多個待排序文字信息的輸出順序，確定為所述多個待排序文字信息的閱讀順序。

6.根據權利要求3至5任一項所述的方法，其特征在于，還包括：

獲取樣本圖像以及所述樣本圖像中所包含的多個樣本文字信息對應的期望文字信息序列；

根據所述多個樣本文字信息各自對應的樣本特征、所述多個樣本文字信息對應的圖結構以及所述樣本文字信息序列，對所述圖卷積神經網絡模型進行優化。

7.根據權利要求2至5中任一項所述的方法，其特征在于，確定所述多個待排序文字信息間的鄰接關系，包括：

根據所述多個待排序文字信息各自對應的特征，確定所述多個待排序文字信息間的鄰接關系。

8.根據權利要求7所述的方法，其特征在于，根據所述多個待排序文字信息各自對應的特征，確定所述多個待排序文字信息間的鄰接關系，包括：

根據所述多個待排序文字信息中每兩個待排序文字信息對應的特征，計算所述每兩個待排序文字信息間的相關性；

根據所述每兩個待排序文字信息間的相關性，確定所述每兩個待排序文字信息間是否鄰接。