[發明專利]一種基于視覺跟蹤的自適應顯示器定位方法

有效

• 申請號: 202010634039.4
• 申請日: 2020-07-02
• 公開（公告）號: CN111949124B
• 公開（公告）日: 2023-09-01
• 發明（設計）人: 謝浩彬;陳新度;吳磊
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06V40/16;G06V40/18;G06V10/764;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 廣州專理知識產權代理事務所(普通合伙) 44493
• 代理人: 王允輝

1.一種基于視覺跟蹤的自適應顯示器定位方法，其特征在于，包括：

安裝好相機；

完成顯示器位移和旋轉角度與人眼法向量v和高度h的映射表格的建立；

對Efficient-Net目標檢測網絡進行更改，構建圖人臉位置檢測裝置；

結合點云分割網絡GAC-Net和Point-CNN框架，構建人臉點云語義分割網絡；

獲取顯示器使用用戶的彩色圖像和深度圖，將所述的彩色圖像輸入人臉位置檢測裝置，輸出人臉位置，將人臉位置信息輸入所述的深度圖進行裁剪人臉區域，將人臉區域深度圖轉換為點云，輸入人臉點云分割網絡，從而分割出人臉中左眼和右眼的區域；

先建立圖像數據庫并進行標注，利用LabelImg軟件標注出人臉X、Y、W和H的值，利用Labelme標注出人臉中左眼和右眼區域像素的類別為1和2，其余背景類別為0；

所述結合點云分割網絡GAC-Net和Point-CNN框架，構建人臉點云語義分割網絡包括：

所述網絡輸出分為三類，分別為左眼、右眼和背景，左眼和右眼點云通過PCA計算法向量并取平均值v，結合其高度，查找已建立好的顯示器位移和旋轉角度與人眼法向量v和高度h的映射表格，獲取顯示器的最佳位置，作為顯示器運動預測結果；

所述對Efficient-Net目標檢測網絡進行更改，構建圖人臉位置檢測裝置還包括：

去除原網絡中的分類分支，僅保留回歸分支，并且回歸分支中僅預測4個值，X、Y、W和H，分別對應人臉位置左上角的坐標及其長和寬，其被歸一化為[0，1]范圍內，其位置結果用于裁剪深度圖中的人臉區域。

2.根據權利要求1所述的基于視覺跟蹤的自適應顯示器定位方法，其

特征在于，還包括：

分別建立損失函數，人臉位置檢測網絡為L1損失，即L1=|X-X'|+|Y-Y'|+|W-W'|+|H-H'|，其中X、Y、W和H為真是標簽值，X'、Y'、W'和H'為預測值，通過損失函數更新網絡模型參數，提高模型的準確率，從而獲得預測參數模型。