[發明專利]基于混合現實技術的實景騎行訓練方法

有效

• 申請號: 201910583255.8
• 申請日: 2019-07-01
• 公開（公告）號: CN110490978B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 馮遠靜;鄭天馳;陳曄;朱濤;田英傲;胡玉歡
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T7/155;G06T7/13;G06T7/11;G06Q10/047;G06N3/08;G06F17/16;A63F13/42;A63B22/06
• 代理公司: 杭州斯可睿專利事務所有限公司 33241
• 代理人: 王利強

1.一種基于混合現實技術的實景騎行訓練方法，其特征在于，所述方法包括以下步驟：

步驟1：實景障礙物檢測：利用KITTI、ImageNet、Pascal?VOC這三個包含大量上述障礙物的數據集對神經網絡進行訓練，使用訓練后的神經網絡對實景中的障礙物做出識別；

步驟2：實景路面分割：BDD、CityScapes中包含了路面分割的訓練集，利用這兩個訓練集訓練神經網絡，使用訓練后的神經網絡對實景中的路面進行分割；

步驟3：路徑規劃：經過步驟1和步驟2的處理之后，得到可行駛的區域，然后結合A*算法做出路徑規劃；

步驟4：路徑擬合：利用最小二乘法對路徑規劃得到的結果擬合，生成一條平滑的擬合曲線；

步驟5：虛擬人物融合：虛擬人物融合利用虛擬人物的掩膜在圖像上做高級圖像融合，在多人聯網比賽下，根據其余騎行者的距離參數來決定虛擬人物的位置和尺寸，并且根據路徑擬合曲線方程的斜率來判斷虛擬人物是否需要做出轉彎動作；

所述步驟1)中，實景障礙物檢測的步驟如下：

步驟1.1：對KITTI、ImageNet、Pascal?VOC三個數據集的數據進行相應的數據預處理，將labelImg生成的標簽結果xml文件轉換為可用于訓練讀取數據的txt格式；

步驟1.2：利用ImageNet上預訓練darknet-53分類模型,使網絡能夠學習到分類的特征；

步驟1.3：在預訓練的darknet-53的基礎上，更改神經網絡的結構，將darknet-53前52層中的權重提取出，然后采用FPN的upsample和融合做法，最后融合出了三個scale，在三個scale的feature?map上做檢測；

步驟1.4：在神經網絡的輸出層，得到三個scale的feature?map,每個feature?map中的每個grid?cell都會輸出3個box，每個box中又包含(x,y,w,h,confidence)以及需要分類的類別的概率；

步驟1.5：將KITTI、Pascal?VOC數據混打亂之后，以相同的尺寸輸入給神經網絡，通過小批量訓練網絡，減少對內存的需求以及加快網絡的訓練速度；

步驟1.6：計算損失函數，利用數據集中的ground?truth與神經網絡的預測結果的值來計算損失值，除了w,h的損失函數采用總方差外，其余部分的損失函數用的是二值交叉熵，最后加到一起，組成總的損失函數；

步驟1.7：通過Adam優化器來更新神經網絡的權重；

步驟1.8：將訓練后的模型在實景視頻中運行得到路面上的障礙物區域。

2.如權利要求1所述基于混合現實技術的實景騎行訓練方法，其特征在于，所述步驟2中，實景路面分割的步驟如下：

步驟2.1：在BDD與CityScapes訓練集中，存在錯誤標注數據，需要經過一輪手動篩選剔除錯誤的數據，然后將剩余正確的標注數據整合隨機打亂，組成一份新的數據集；

步驟2.2：BDD與CityScapes訓練集中的標簽圖為32位的彩色圖，通過對圖中像素進行分類，轉換成8位的灰度圖，才能作為訓練樣本的標簽；

步驟2.3：在殘差網絡ResNet101上，利用Atrous?Convolution代替最后幾個最大池化層中的下采樣，得到更高像素的score?map，但每個像素的感受野并沒有減小，然后簡單地對特征的響應進行雙線性插值恢復到原始圖像大小；

步驟2.4：將訓練集以設定大小的batch?size加載給ResNet101的輸入層進行訓練并更新卷積核的參數；

步驟2.5：在對實景視視頻泛化的過程中，只需要對路面做出分割即可，這樣減少后續的計算量以提高程序的運行速度。