[發明專利]單據要素抽取方法、裝置、設備及存儲介質

有效

• 申請號: 201911415309.6
• 申請日: 2019-12-31
• 公開（公告）號: CN111144370B
• 公開（公告）日: 2023-08-04
• 發明（設計）人: 杜倩云;吳培浩;吳啟超
• 申請（專利權）人: 科大訊飛華南人工智能研究院（廣州）有限公司
• 主分類號: G06V30/41
• 分類號: G06V30/41;G06V30/42;G06V30/18;G06V30/26;G06V10/82;G06N3/0442;G06N3/082;G06N3/042;G06N3/0464
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 呂偉盼

1.一種單據要素抽取方法，其特征在于，包括：

獲取單據圖片的文本片段和所述文本片段對應的位置信息，根據所述位置信息確定所述文本片段的圖像側特征向量；

將所述圖像側特征向量、所述文本片段的詞嵌入向量及所述文本片段的圖嵌入向量進行拼接，獲取連續的文本序列；

對所述連續的文本序列進行重排序，獲取符合閱讀順序的文本序列；

其中，所述根據所述位置信息確定所述文本片段的圖像側特征向量，具體包括：

獲取單據圖片的特征圖，根據所述位置信息確定所述文本片段在所述特征圖上對應區域的信息特征；

對所述信息特征進行池化處理，確定用于表征所述文本片段的圖像信息的圖像側特征向量；

所述對所述連續的文本序列進行重排序，獲取符合閱讀順序的文本序列，具體包括：

通過重排序模型，對所述連續的文本序列進行重排序，獲取符合閱讀順序的文本序列；

所述重排序模型包括BiLSTM層、自注意力層和指針網絡層；相應的，所述通過重排序模型，對所述連續的文本序列進行重排序，獲取符合閱讀順序的文本序列，具體包括：

將連續的文本序列輸入所述BiLSTM層，確定所述文本片段的上下文特征；

將所述上下文特征輸入所述自注意力層，確定各單詞的權重；

將所述上下文特征及所述各單詞的權重輸入所述指針網絡層，由所述指針網絡層輸出所述符合閱讀順序的文本序列。

2.根據權利要求1所述的單據要素抽取方法，其特征在于，所述將所述圖像側特征向量、所述文本片段的詞嵌入向量及所述文本片段的圖嵌入向量進行拼接，具體包括：

若所述文本片段包括多個單詞，則對每一所述單詞拼接相同的圖像側特征向量和圖嵌入向量。

3.根據權利要求1所述的單據要素抽取方法，其特征在于，所述對所述連續的文本序列進行重排序，還包括：在所述重排序模型的訓練過程中，使用交叉熵損失函數進行訓練。

4.根據權利要求1所述的單據要素抽取方法，其特征在于，所述獲取單據圖片的文本片段和所述文本片段對應的位置信息具體包括：

通過光學字符識別方法，識別所述單據圖片，獲取所述文本片段和所述文本片段對應的位置信息。

5.根據權利要求4所述的單據要素抽取方法，其特征在于，所述將所述圖像側特征向量、所述文本片段的詞嵌入特征及所述文本片段的圖嵌入特征進行拼接，具體包括：

獲取屬性圖，將所述屬性圖輸入圖卷積神經網絡模型，由所述圖卷積神經網絡模型輸出所述屬性圖中每個文本片段的向量表示；

將所述屬性圖中每個文本片段的向量表示作為所述文本片段的圖嵌入特征。

6.一種單據要素抽取裝置，其特征在于，包括：

第一處理單元，用于獲取單據圖片的文本片段和所述文本片段對應的位置信息，根據所述位置信息確定所述文本片段的圖像側特征向量；其中，所述根據所述位置信息確定所述文本片段的圖像側特征向量，具體包括：

獲取單據圖片的特征圖，根據所述位置信息確定所述文本片段在所述特征圖上對應區域的信息特征；對所述信息特征進行池化處理，確定用于表征所述文本片段的圖像信息的圖像側特征向量；

第二處理單元，用于將所述圖像側特征向量、所述文本片段的詞嵌入向量及所述文本片段的圖嵌入向量進行拼接，獲取連續的文本序列；

第三處理單元，用于通過重排序模型，對所述連續的文本序列進行重排序，獲取符合閱讀順序的文本序列；其中，所述對所述連續的文本序列進行重排序，獲取符合閱讀順序的文本序列，具體包括：

通過重排序模型，對所述連續的文本序列進行重排序，獲取符合閱讀順序的文本序列；

所述重排序模型包括BiLSTM層、自注意力層和指針網絡層；相應的，所述通過重排序模型，對所述連續的文本序列進行重排序，獲取符合閱讀順序的文本序列，具體包括：

將連續的文本序列輸入所述BiLSTM層，確定所述文本片段的上下文特征；

將所述上下文特征輸入所述自注意力層，確定各單詞的權重；

將所述上下文特征及所述各單詞的權重輸入所述指針網絡層，由所述指針網絡層輸出所述符合閱讀順序的文本序列。