[發明專利]一種從圖像中提取結構化數據的方法、裝置和設備

有效

• 申請號: 201880029640.1
• 申請日: 2018-12-07
• 公開（公告）號: CN111615702B
• 公開（公告）日: 2023-10-17
• 發明（設計）人: 葉奕斌;朱聲高;王晶;杜奇;梁輝;涂丹丹
• 申請（專利權）人: 華為云計算技術有限公司
• 主分類號: G06V30/40
• 分類號: G06V30/40;G06V30/19;G06V10/80;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 石朝清

1.一種從圖像中提取結構化數據的方法，其特征在于，包括：

利用圖像文字提取模型獲取所述圖像中的第一信息集合和第二信息集合,所述圖像中包括至少一條結構化數據；

根據所述第一信息集合包括的至少一個第一信息獲取所述圖像中的至少一個文字子圖像；

識別所述至少一個文字子圖像中的文字信息；

根據所述至少一個文字子圖像中的文字信息與所述第二信息集合包括的至少一個第二信息，獲得所述圖像中的至少一條結構化數據。

2.根據權利要求1所述的方法，其特征在于，

所述至少一個第一信息指示文字位置信息，所述文字位置信息表示所述至少一個文字子圖像在所述圖像中的位置；

所述至少一個第二信息指示文字屬性信息，所述文字屬性信息表示所述至少一個文字子圖像中文字信息的屬性；

每條結構化數據包括：所述文字屬性信息和所述文字信息。

3.根據權利要求1或2所述的方法，其特征在于，所述圖像文字提取模型包括主干網絡、至少一個特征融合子網絡、至少一個分類子網絡和至少一個邊框回歸子網絡；

所述利用圖像文字提取模型獲取所述圖像中的第一信息集合和第二信息集合包括：

將所述圖像輸入所述主干網絡，通過所述主干網絡對所述圖像進行特征提取，輸出至少一個特征張量；

將所述主干網絡輸出的每個特征張量輸入一個特征融合子網絡，通過所述特征融合子網絡獲得所述特征張量對應的融合特征張量；

將所述融合特征張量輸入一個分類子網絡和一個邊框回歸子網絡；

所述邊框回歸子網絡根據所述融合特征張量對應的第一候選框執行對所述圖像中文字子圖像在所述圖像中的位置的定位，獲取所述至少一個第一信息；

所述分類子網絡根據所述融合特征張量對應的第二候選框執行對所述圖像中文字屬性的分類，獲取所述至少一個第二信息。

4.根據權利要求3所述的方法，其特征在于，每個特征融合子網絡包括至少一個并列的卷積層和融合器；

所述將所述主干網絡輸出的每個特征張量輸入一個特征融合子網絡，通過所述特征融合子網絡獲得所述特征張量對應的融合特征張量包括：

將所述主干網絡輸出的所述特征張量輸入所述至少一個并列的卷積層中的每一個卷積層；

將所述至少一個并列的卷積層中各卷積層的輸出輸入所述融合器；

所述融合器融合所述至少一個并列的卷積層中各卷積層的輸出，輸出所述特征張量對應的融合特征張量。

5.根據權利要求3或4所述的方法，其特征在于，所述方法還包括：

根據預設定的高度值和預設定的寬高比例值獲得所述融合特征張量對應的第一候選框。

6.根據權利要求3或4所述的方法，其特征在于，所述方法還包括：

根據預設定的高度值和預設定的寬高比例值獲得所述融合特征張量對應的第二候選框。

7.一種從圖像中提取結構化數據的裝置，其特征在于，包括：

圖像文字提取模型，用于獲取所述圖像中的第一信息集合和第二信息集合，所述圖像中包括至少一條結構化數據；

文字子圖像截取模塊，用于根據所述第一信息集合包括的至少一個第一信息獲取所述圖像中的至少一個文字子圖像；

文字識別模型，用于識別所述至少一個文字子圖像中的文字信息；

結構化數據構成模塊，用于根據所述至少一個文字子圖像中的文字信息與所述第二信息集合中包括的至少一個第二信息結合，獲得所述圖像中的至少一條結構化數據。

8.根據權利要求7所述的裝置，其特征在于，所述至少一個第一信息指示文字位置信息，所述文字位置信息表示所述至少一個文字子圖像在所述圖像中的位置；

所述至少一個第二信息指示文字屬性信息，所述文字屬性信息表示所述至少一個文字子圖像中文字信息的屬性；

每條結構化數據包括：所述文字屬性信息和所述文字信息。