[發明專利]由平面指紋估計手指三維姿態的方法和裝置

在審

• 申請號: 202110703121.2
• 申請日: 2021-06-24
• 公開（公告）號: CN113569638A
• 公開（公告）日: 2021-10-29
• 發明（設計）人: 馮建江;周杰;殷其昊;賀珂
• 申請（專利權）人: 清華大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張夢瑤

1.一種由平面指紋估計手指三維姿態的方法，其特征在于，包括以下步驟：

采集待測試的平面指紋圖像；

將所述待測試的平面指紋圖像輸入預設的深度神經網絡模型中，輸出預測的姿態角。

2.如權利要求1所述的方法，其特征在于，所述深度神經網絡模型包括特征提取主干網絡、注意力機制模塊、三維角度預測模塊，所述特征提取主干網絡包括卷積層和非線性激活層。

3.如權利要求1或2所述的方法，其特征在于，將所述待測試的平面指紋圖像輸入預設的深度神經網絡模型中，輸出預測的姿態角，包括以下步驟：

對所述待測試的平面指紋圖像經過所述卷積層和所述非線性激活層的堆疊與抽象進行特征提取，輸出一個固定維度的特征描述子；

使用所述注意力機制模塊對所述固定維度的特征描述子進行注意力機制計算，將輸出的熱圖與所述特征描述子進行融合，得到優化后的特征描述子；

將所述優化后的特征描述子的俯仰角、滾動角、偏移角的值域劃分成若干個區間，然后用所述三維角度預測模塊輸出當前指紋圖像屬于每一個區間的概率，基于這一概率以及劃分的區間中點值，加權得到最終預測的姿態角。

4.如權利要求1所述的方法，其特征在于，訓練所述深度神經網絡模型，包括以下步驟：

獲取訓練數據，包括平面指紋圖像和對應的手指三維姿態的數據庫；

使用所述訓練數據，采用損失函數對所述深度神經網絡模塊進行訓練。

5.如權利要求4所述的方法，其特征在于，所述獲取訓練數據包括：

將綁有陀螺儀的手指在指紋傳感器上由一邊滾動到另一邊；

通過程序控制指紋采集儀以固定的頻率采集多個平面指紋圖像，所述陀螺儀同步將角度讀取出來；

通過兩個陀螺儀數值的差異計算得到每個平面指紋圖像對應的三維姿態角。

6.如權利要求4所述的方法，其特征在于，所述獲取訓練數據包括，利用光學跟蹤技術結合指紋采集儀，同步獲取手指姿態和指紋圖像，或利用事先構造的三維指紋數據庫，合成任意姿態下的平面指紋圖像。

7.如權利要求4所述的方法，其特征在于，所述損失函數表示為：

L_{roll/pitch/yaw}＝L_ce+λL_MSE

L_all＝L_roll+L_pitch+L_yaw

其中，L_CE為分類問題交叉熵損失函數，y_c為0或者1，y_c＝1當且僅當c為當前姿態角分布在第c個區間，p_cc∈[1,M]表示網絡預測的屬于每一個區間的概率值，s_c表示每一個角度區間的代表值，M表示劃分的區間總數，為角度預測值，θ為角度真值，L_{roll/pitch/yaw}為單個姿態角度的損失函數，λ為超參數，取1.0，L_all為所有姿態角的總損失函數。

8.一種由平面指紋估計手指三維姿態裝置，其特征在于，包括數據采集模塊、預測模塊，其中，

所述數據采集模塊，用于采集待測試的平面指紋圖像；

所述預測模塊，用于對所述待測試的平面指紋圖像進行預測，輸出預測的姿態角。

9.如權利要求8所述的裝置，其特征在于，所述預測模塊還包括訓練單元，所述訓練單元具體用于：

獲取訓練數據，包括平面指紋圖像和對應的手指三維姿態的數據庫；

使用所述訓練數據，采用損失函數對所述深度神經網絡模塊進行訓練。

10.一種非臨時性計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1-7中任一所述的方法。