[發明專利]一種受電弓圖像的三維模板自動匹配方法

有效

• 申請號: 202010026184.4
• 申請日: 2020-01-10
• 公開（公告）號: CN111260797B
• 公開（公告）日: 2022-09-02
• 發明（設計）人: 唐鵬;金煒東
• 申請（專利權）人: 西南交通大學
• 主分類號: G06T19/20
• 分類號: G06T19/20;G06K9/62;G06V10/764;G06V10/774
• 代理公司: 成都信博專利代理有限責任公司 51200
• 代理人: 卓仲陽

1.一種受電弓圖像的三維模板自動匹配方法，其特征在于，匹配算子的自監督學習過程按以下步驟進行：

S1用戶指定受電弓姿態估計算子的相關學習參數，包括姿態估計算子的學習速率、學習批量個數、循環學習總次數N_T^Max和單個樣本匹配計算的最大次數N_M^Max；

S2將循環計數器N_T設置為1；

S3如果循環計數器N_T小于最大計數值N_T^Max，那么進入S4；否則進入S17；

S4從受電弓觀測姿態的先驗分布中隨機采樣，得到相機觀測坐標系下受電弓的姿態參數RT；其中，受電弓觀測姿態的先驗分布根據專家經驗事先給定，設置為受電弓沿垂向旋轉角范圍是正負180°，俯仰角范圍為正負40°，位于相機正前方，且距離相機的范圍是3到6米，姿態參數RT在設定范圍內采用均勻分布；

S5利用受電弓的姿態參數R_TT_T將受電弓三維模型做平移和旋轉變換，再根據相機參數將三維模型投影到二維圖像平面，生成待估計的受電弓輪廓圖像樣本D；投影過程的具體做法為，遍歷3D模型的每個面片，對面片的頂點X做三維到二維的投影x＝P_TX，其中X是齊次坐標系下三維點，x是齊次坐標下二維點，而P_T是由相機的內參數矩陣C和姿態參數平移量T_T和旋轉量R_T共同決定的3×4的投影矩陣P_T＝C[R_T|T_T]，其中[R_T|T_T]代表3×3的旋轉矩陣和3×1的平移矢量組合為3×4的矩陣；在圖像平面以面片頂點投影做掃描轉換，過程遵循計算機光柵圖形學的多邊形掃描轉換標準過程；最后，計算所有面片掃描轉換所得像素集的并集，并將其像素灰度值設置為255；即得電弓輪廓影像D；

S6判斷受電弓圖像是左側視角還是右側視角；如果是左側視角，則水平翻轉圖像，使其呈現為右側視角；

S7用預先訓練好的姿態分類算法對受電弓樣本圖像進行分類，劃分為受電弓右側視角前側、中部、后側以及俯視、平視和仰視共9種組合情況，并以每種姿態的均值參數作為當前模型的初始化估計R₀T₀；

S8以姿態參數的初始化估計R₀T₀初始化姿態估計算子G；

S9將姿態匹配計數器N_M設置為1；

S10以當前受電弓姿態R_iT_i對受電弓3D模型進行變換和投影，獲取估計姿態下的受電弓輪廓影像I；投影過程的具體做法為，遍歷3D模型的每個面片，對面片的頂點X做三維到二維的投影x＝P_iX，其中X是齊次坐標系下三維點，x是齊次坐標下二維點，而P_i是尺寸為3×4的投影矩陣；在給定相機的內參數矩陣C和平移T_i和旋轉R_i的姿態參數后，投影矩陣隨即確定為P_i＝C[R_i|T_i]，其中[R_i|T_i]代表3×3的旋轉矩陣和3×1的平移矢量組合為3×4的矩陣；在圖像平面以面片頂點投影做掃描轉換，過程遵循計算機光柵圖形學的多邊形掃描轉換標準過程；最后，計算所有面片掃描轉換所得像素集的并集，并將其像素灰度值設置為255，即為電弓輪廓影像I_i；

S11將估計姿態下的受電弓圖像I_i與樣本圖像D做差異度比較，用Hausdorrf距離比較受電弓圖像I_i與樣本圖像D的Laplace輪廓間的差異，作為差異度結果d(I,D)；

S12如果模型投影I_i和目標投影D差異度d(I,D)小于5個像素，則對參數估計算子進行獎勵，即向姿態參數估計算子G回饋一個較大的正值分數，否則對姿態參數估計算賬進行懲罰，即向參數估計算子回饋一個負值的分數；在本系統中獎勵分設置為10，而懲罰分設置為0.1；

S13姿態參數估計算子G利用姿態估計算法模塊調整姿態更新值ΔRT，獲取下一步姿態為R_iT_i+1＝R_iT_i+ΔRT；姿態估計算法模塊基于VGG16網絡實現，其輸入當前觀測的模型投影I_i和目標投影D，其輸出為姿態更新值ΔRT；

S14將匹配計數器N_M增加1；

S15若匹配計數器N_M超過最大限度N_M^Max，則進入步驟S16；否則返回步驟S5；

S16將訓練計數器N_T增加1，返回步驟S3；

S17保存姿態參數估計算子G的姿態估計算法模塊的訓練權重參數到計算機外部存儲器；然后結束。