[發明專利]翻閱護照信息提取方法及裝置

在審

• 申請號: 202210970067.2
• 申請日: 2022-08-12
• 公開（公告）號: CN115331233A
• 公開（公告）日: 2022-11-11
• 發明（設計）人: 張裕平
• 申請（專利權）人: 深圳市雄帝科技股份有限公司
• 主分類號: G06V30/148
• 分類號: G06V30/148;G06V30/19;G06V30/16;G06V30/164;G06V30/18;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種翻閱護照信息提取方法，其特征在于，包括以下步驟：

構建基于深度網絡的頁面實例分割模型；

使用所述頁面實例分割模型對目標圖像幀中的頁面實例進行分割識別，識別目標圖像幀中的頁面實例個數；判斷所述目標圖像幀中的頁面實例個數是否小于預設的區分閾值，若小于與預設的區分閾值，則判斷所述目標圖像幀為平展頁面圖像，并從所述平展頁面圖像中提取護照信息。

2.根據權利要求1所述的翻閱護照信息提取方法，其特征在于，從所述平展頁面圖像中提取護照信息，包括以下步驟：

將所述平展頁面圖像輸入至護照信息分類模型中，識別所述平展頁面圖像中的護照信息類別，根據所述護照信息的類別采用對應類別的信息提取方式提取信息。

3.根據權利要求2所述的翻閱護照信息提取方法，其特征在于，所述護照信息分類模型的識別類別包括印章頁、資料頁；根據所述護照信息的類別采用對應類別的信息提取方式提取信息，具體為：

對于類別為印章頁的平展頁面圖像進行印章檢測，定位出印章的位置，取出印章切片，傳入印章國家識別模型和印章OCR識別模型中提取印章的國家信息和印章日期信息；

對于類別為資料頁的圖片，進行文字檢測，定位出文字的位置之后，剪裁切片，傳入文字識別模型中解析文字信息，從而完成資料頁的版面分析。

4.根據權利要求3所述的翻閱護照信息提取方法，其特征在于，在從所述平展頁面圖像中提取護照信息前，還包括以下去重步驟：

對于視頻中任意兩張屬于連續幀的平展頁面圖像，均執行以下步驟：

提取兩者的圖像特征，并計算二者的相似度，判斷二者的相似度是否大于預設閾值，若二者的相似度大于預設閾值，則判斷二者為重合圖像，剔除二者中的任一張。

5.根據權利要求4所述的翻閱護照信息提取方法，其特征在于，在從所述平展頁面圖像中提取護照信息前，還包括以下步驟：

對去重后的平展頁面圖像進行對比度拉升，再采用保持梯度的濾波操作，將對比度拉升后的平展頁面圖像作為原圖，經過USM銳化后的平展頁面圖像作為引導圖，進行導向濾波去噪。

6.一種翻閱護照信息提取裝置，其特征在于，包括：

頁面實例分割模型：用于對目標圖像幀中的頁面實例進行分割識別，識別目標圖像幀中的頁面實例個數；

判斷模塊，用于判斷所述目標圖像幀中的頁面實例個數是否小于預設的區分閾值，若小于與預設的區分閾值，則判斷所述目標圖像幀為平展頁面圖像，

護照信息提取模塊，用于從所述平展頁面圖像中提取護照信息。

7.根據權利要求6所述的翻閱護照信息提取裝置，其特征在于，所述頁面實例分割模型包括：特征提取模塊、特征融合模塊、掩碼原型預測模塊、掩碼系數預測模塊、掩碼生成模塊，邊界框預測模塊、分類預測模塊以及非極大值抑制模塊；

所述特征提取模塊用于提取目標圖像幀中的多種不同層次的特征圖；

所述特征融合模塊通過卷積層和上采樣層分別對多種不同層次的特征圖進行特征融合，得到多張特征融合圖，并將所述多種特征圖中尺寸最小的特征圖進行多次下采樣，并在每次下采樣時獲得一張特征融合圖；

所述掩碼原型預測模塊用于預測所述尺寸最大的特征融合圖的掩碼原型；

所述掩碼系數預測模塊用于預測每個特征融合圖生成的bounding box的掩碼系數；

所述掩碼生成模塊根據所述掩碼原型和掩碼系數生成特征融合圖中bounding box的掩碼；

所述邊界框預測模塊用于預測每個特征融合圖中bounding box的預測信息；

所述分類預測模塊用于預測每個特征融合圖中bounding box的類別預測信息；

所述非極大值抑制模塊用于對每個特征融合圖中bounding box進行抑制過濾后，輸出最終的類別預測信息。