[發明專利]基于混合現實技術的實景騎行訓練方法

有效

• 申請號: 201910583255.8
• 申請日: 2019-07-01
• 公開（公告）號: CN110490978B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 馮遠靜;鄭天馳;陳曄;朱濤;田英傲;胡玉歡
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T7/155;G06T7/13;G06T7/11;G06Q10/047;G06N3/08;G06F17/16;A63F13/42;A63B22/06
• 代理公司: 杭州斯可睿專利事務所有限公司 33241
• 代理人: 王利強

一種基于混合現實技術的實景騎行訓練方法，包括以下步驟：步驟1：實景障礙物檢測；步驟2：實景路面分割；步驟3：路徑規劃；步驟4：路徑擬合；步驟5：虛擬人物融合：虛擬人物融合利用虛擬人物的掩膜在圖像上做高級圖像融合，在多人聯網比賽下，根據其余騎行者的距離參數來決定虛擬人物的位置和尺寸，并且根據路徑擬合曲線方程的斜率來判斷虛擬人物是否需要做出轉彎動作。本發明將騎行用戶的虛擬形象融入到實景視頻中，并能夠根據實景的路況信息，規劃出虛擬人物的騎行路徑，從而在實景視頻中的虛擬人物模擬出在真實比賽場景騎行的過程，營造更加激烈的比賽氛圍，使得騎行訓練變得更有競技性和趣味性。

技術領域

本發明涉及機器學習領域、圖像處理領域以及視頻控制領域，具體涉及基于混合現實技術的實景騎行訓練方法。

背景技術

中國素有自行車王國之稱，據中國自行車行業協會的統計，我國自行車保有量以4億輛穩居世界首位，自行車企業數量的平均增長率約為7.4％，每年產量增長值約為7.8％。因此，我國自行車的保有量在一定程度上為自行車運動特別是自行車健身運動的發展奠定了良好的群眾基礎。同時，隨著經濟條件的不斷提升，形形色色的健身運動已經普及到了家家戶戶，國人從未像現在這樣關注自己的身體健康。以騎自行車這種簡單、方便、綠色的方式來鍛煉也越來越成為一種時尚健康的健身方式。

但是由于環境污染等原因，室外騎行時霧霾天氣和寒冷空氣會一定程度地損害騎友們的身體健康；而且糟糕的視線和道路條件也會帶來一些安全隱患。這些都成了阻礙人們開展騎行運動的重要因素。因此，不受環境、天氣、時間等騎行條件影響的室內騎行臺就成為了廣大騎友們的理想選擇。

現在一般的固定式騎行訓練臺已經很常見，但他們大都是機械式的，功能比較單一。隨著智能穿戴設備大量涌入國內市場，智能騎行這一理念也逐漸被大家所接受。將智能設備與普通騎行相結合的智能騎行平臺，在重現真實路感的同時，實時監測心率、運動數據，從而使騎行更科學、更有趣。互聯網背景下的全民騎行服務系統使得聯網多人騎行競技成為可能。騎友們隨時可以自由組建車隊在線上進行室內騎行比賽，也可以單獨參加各大線上的自行車騎行競賽，在進行室內健身的同時也能體會到體育競技帶來的快樂。現在人機交互技術在生活中已經得到了廣泛的應用，其中處于研究前沿的混合現實技術正向生活中的各個領域滲透。在騎行訓練系統中采用混合現實技術，將騎行用戶虛擬形象與實景視頻相融合，讓騎行者身臨實景風光之中，使騎行訓練更具真實感和趣味性。

發明內容

為克服現有騎行訓練系統的真實感和趣味性較差的不足，本發明設計了基于混合現實技術的實景騎行訓練方法，將騎行用戶的虛擬形象融入到實景視頻中，并能夠根據實景的路況信息，例如路面上的道路區域和出現在路面上的障礙物，規劃出虛擬人物的騎行路徑，從而在實景視頻中的虛擬人物模擬出在真實比賽場景騎行的過程，營造更加激烈的比賽氛圍，使得騎行訓練變得更有競技性和趣味性。

本發明解決其技術問題所采用的技術方案是：

一種基于混合現實技術的實景騎行訓練方法，包括以下步驟：

步驟1：實景障礙物檢測：在實景視頻中，會出現較多的障礙物，比如：行人、汽車、騎行者等，在做實景融合的過程中要做到對路面上出現的障礙物做出規避行為。利用KITTI、ImageNet、Pascal?VOC這三個包含大量上述障礙物的數據集對神經網絡進行訓練，使訓練后的神經網絡能夠對實景中的障礙物做出識別；

步驟2：實景路面分割：實景融合的過程中可融合的區域需要根據當前情景中的路面區域來決定。BDD、CityScapes中包含了路面分割的訓練集，利用這兩個訓練集訓練神經網絡，使訓練后的神經網絡能夠對實景中的路面進行分割；

步驟3：路徑規劃：經過步驟1和步驟2的處理之后，我們會得到可行駛的區域，然后結合A*算法做出路徑規劃；

步驟4：路徑擬合：利用最小二乘法對路徑規劃得到的結果擬合，生成一條平滑的擬合曲線；