[發(fā)明專利]一種基于嵌入式雙目智能鏡前燈的手勢控制方法及控制系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010052943.4
• 申請日: 2020-01-17
• 公開（公告）號: CN111246623B
• 公開（公告）日: 2021-11-09
• 發(fā)明（設計）人: 杜國銘;蔣大宇;馮大志
• 申請（專利權）人: 哈爾濱拓博科技有限公司
• 主分類號: H05B45/10
• 分類號: H05B45/10;G06K9/00;G06T5/00;G06T7/80
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于嵌入式雙目智能鏡前燈的手勢控制方法，其特征在于：所述方法包括以下步驟：

外部結構設置步驟：將智能鏡前燈安裝在鏡子上方并采用LED照明方式，將雙目相機安裝在鏡前燈內(nèi)，從上向下拍照，相機鏡頭位置的燈罩為透明材料，所述雙目相機采用廣角鏡頭；

雙目標定步驟：利用標定軟件進行雙目相機的參數(shù)標定，獲得兩個相機的內(nèi)外參數(shù)，并將標定結果保存成可讀的文件，然后將標定參數(shù)的文件提供給系統(tǒng)進行調(diào)用；

圖像獲取步驟：獲取當前雙目相機采集的圖像，在獲取圖像后，對圖像進行校正，然后根據(jù)深度公式計算出手的空間坐標；

手勢識別步驟：采用深度學習方法利用深度檢測模型根據(jù)獲取到的圖像進行人手的檢測，根據(jù)人手的檢測結果利用基于膚色模型的匹配檢測算法檢測出手部矩形框，從而利用矩形框計算深度，根據(jù)計算結果進行手勢類型識別，所述手勢類型為兩種或兩種以上的靜態(tài)手勢的組合，所述靜態(tài)手勢包括手掌打開、手掌閉合和握拳；

鏡前燈控制步驟：根據(jù)手勢識別的結果利用樹莓派和IO擴展板對LED燈進行控制；

所述深度學習方法采用12層的模型，并將模型中的反卷積部分刪除，所述深度學習方法中訓練集的制作采用合成部分和實際部分共同制作；

其中合成部分為：

(a)在標準視頻采集房內(nèi)，采集便于自動摳圖的視頻；

(b)利用腳本程序進行人手的摳?。?/p>

(c)在網(wǎng)絡上找到潛在的背景圖片；

(d)將摳取的人手圖片隨機的和背景進行融合；

(e)給出適合模型訓練的圖片和數(shù)據(jù)；

實際部分為：

(a)找到大量的人員進行實際使用場景的視頻錄制；

(b)配置已有的模型，修改源代碼，在實際檢測中，輸出手部數(shù)據(jù)；

(c)根據(jù)不同的手部數(shù)據(jù)進行篩選，此處將所有的人手關節(jié)數(shù)據(jù)輸出；

(d)篩選數(shù)據(jù)，對于不同的手勢給出類別和矩形框的輸出；

(e)給出適合模型訓練的圖片和數(shù)據(jù)。

2.根據(jù)權利要求1所述的方法，其特征在于：所述對圖像進行校正具體為：

由于相機在成像過程中存在兩種不同類型的畸變，一種是由透鏡的形狀引起的畸變稱為徑向畸變，另一種是相機組裝過程中透鏡和成像面不能嚴格平行引起的畸變稱為切向畸變；

徑向畸變：

切向畸變：

綜合以上兩種畸變模型，得到相機的畸變模型：

其中，x_error和y_error為畸變點，x_rectify和y_rectify為校正點；

根據(jù)張正友提出的標定方式，得出相機的內(nèi)參k₁、k₂、k₃、p₁、p₂，其中并且利用提供的雙目標定函數(shù)，得出相機的映射矩陣，從而求出校正后的點位置。

3.根據(jù)權利要求2所述的方法，其特征在于：所述求出校正后的點位置具體為：

(1)進行完雙目標定后，會得出兩個相機的映射矩陣，所述映射矩陣是從校正后的點到畸變點的映射，在雙目標定時給出的是反向映射；

(2)根據(jù)反映射關系，將校正后的點對應到畸變的點，已知條件是畸變點和反映射；

(3)完成從畸變點到校正點的查找。

4.根據(jù)權利要求3所述的方法，其特征在于：所述完成從畸變點到校正點的查找具體為：

(a)根據(jù)雙目標定后的結果，得出校正圖像的實際有效區(qū)域在原圖中的位置，找到各相機校正后的有效區(qū)域的四個頂點和帶有畸變的四個頂點的X，Y方向的距離差，然后根據(jù)這8個距離找出最大的橫向距離和縱向距離，記錄這兩個距離為Width和Height；

(b)根據(jù)畸變原理，校正后的某個點的位置都應該在畸變點的位置的周圍處，從而根據(jù)求得的Width和Height在校正的圖上以畸變點的位置為中心構建一個矩形框；

(c)由于已知畸變點，并且在校正點周圍已經(jīng)構建了搜索框，于是利用遍歷矩形框中的點位置，配合反向映射，求出潛在畸變點；

(d)計算求出的潛在畸變點與原畸變點的歐式距離，生成最小距離的那個校正點就是畸變點對應的校正點，最終給出畸變點映射到的校正點。