[發明專利]一種AR虛擬說明書的滑動展示方法

有效

• 申請號: 202010431739.3
• 申請日: 2020-05-20
• 公開（公告）號: CN111582418B
• 公開（公告）日: 2022-03-08
• 發明（設計）人: 郝杰
• 申請（專利權）人: 郝杰
• 主分類號: G06K17/00
• 分類號: G06K17/00;G06V20/20;G06V10/764;G06V10/774;G06K9/62;G06F16/538;G06F16/583;G06T19/00;G06T19/20;G06F3/04845;G06F3/0485
• 代理公司: 太原高欣科創專利代理事務所(普通合伙) 14109
• 代理人: 崔浩;冷錦超

本發明一種AR虛擬說明書的滑動展示方法，屬于AR虛擬說明書應用技術領域；所要解決的技術問題為：提供一種AR虛擬說明書的滑動展示方法的改進；解決該技術問題采用的技術方案為：將產品周邊劃分為若干視角區域，在每個視角區域內采集產品照片并上傳，在AR說明圖片內定義邊界框，使邊界框與該產品視角區域建立映射關系；使用移動終端攝像頭采集到的產品識別碼，從服務器端下載該產品對應的目標分類模型和一張AR說明圖片，使用移動終端攝像頭采集產品的視頻圖像，通過目標分類模型對視頻圖像中出現的產品視角區域進行實時分類；根據映射關系將AR說明圖片上與實時分類結果對應的邊界框部分滑動到展示窗口；本發明應用于AR虛擬說明書展示場所。

技術領域

本發明一種AR虛擬說明書的滑動展示方法，屬于AR虛擬說明書應用技術領域。

背景技術

目前商戶向客戶推銷產品主要采用傳統的線下銷售方式，需要由促銷員全程跟隨客戶挑選產品，并針對產品的功能、優點、價格等信息進行講解，傳統銷售過程較為枯燥，容易使客戶產生厭倦，無法激發購買欲望；隨著時代科技的發展，依靠AR視聽覺增強技術，出現了新的銷售與展示方法。

新的銷售展示方法要求在服務器端預存儲產品互動內容，對產品某一視角下的圖片進行圖像處理以獲得該圖片中的某一種特征描述符，用于目標檢測，另外在移動終端下載并保存該產品的特征描述符，然后通過移動終端攝像頭預覽獲得視頻流，并對視頻流中的一幀圖片或者照片進行圖像處理以獲得該特征描述符，與已保存的特征描述符進行比較，通過匹配特征描述符進行目標檢測和目標跟蹤，定位該產品出現在視頻流或者照片中的平面位置，并在該平面位置上同步展示相應的產品信息給用戶。

基于上述檢測方式，現有的AR虛擬說明書展示方式主要通過目標檢測模型和目標跟蹤模型定位產品的位置和姿態，但訓練目標檢測模型后生成的結果文件較大，移動終端下載時間長，占用存儲空間大；

另外實時目標檢測和目標跟蹤對移動終端設備性能的要求較高，這導致已有的AR虛擬說明書展示方案依賴在移動終端安裝額外的指定應用軟件，以及對移動終端設備性能有較高的要求。若通過移動終端設備的瀏覽器打開攝像頭提供AR虛擬說明書服務，則無法保證目標檢測和目標跟蹤的實時性。

發明內容

本發明為了克服現有技術中存在的不足，所要解決的技術問題為：提供一種AR虛擬說明書的滑動展示方法的改進。

為了解決上述技術問題，本發明采用的技術方案為：一種AR虛擬說明書的滑動展示方法，包括如下步驟：

步驟一：在服務器端，商家上傳一張AR說明圖片作為產品的說明書，用以展示說明；

步驟二：在服務器端，商家將產品周邊劃分為若干視角區域，在每個視角區域內采集一張或多張產品照片并上傳；

步驟三：在服務器端，商家根據說明需求，在AR說明圖片內定義一個邊界框，同時根據步驟二劃分的視角區域指定一個對應的產品視角區域，使該定義的邊界框與該產品視角區域建立映射關系；

步驟四：在服務器端，由步驟三建立多個映射關系，商家在每個映射關系中的產品視角區域內為產品拍多張照片，照片將作為該產品視角區域類別的圖片樣本并上傳；

步驟五：在服務器端，由步驟四為各個產品視角區域收集圖片樣本構成訓練數據集，所述訓練數據集中的圖片樣本根據所屬的產品視角區域進行分組，用于訓練新的目標分類模型，所述目標分類模型將用于對圖片中的產品視角區域進行分類；

步驟六：在移動終端，使用移動終端攝像頭采集到的產品識別碼，從服務器端下載該產品對應的目標分類模型和一張AR說明圖片，此時移動終端的展示窗口顯示AR說明圖片的默認位置；

步驟七：在移動終端，使用移動終端攝像頭采集產品的視頻圖像，并通過目標分類模型對視頻圖像中出現的產品視角區域進行實時分類；