[發明專利]基于二值神經網絡的輕量化Web AR識別方法及系統

有效

• 申請號: 201910458117.7
• 申請日: 2019-05-29
• 公開（公告）號: CN110232338B
• 公開（公告）日: 2021-02-05
• 發明（設計）人: 喬秀全;黃亞坤;商彥磊
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08;G06F16/957
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王慶龍;李相雨

本發明實施例提供一種基于二值神經網絡的輕量化Web AR識別方法及系統，所述方法包括：移動Web瀏覽器加載目標圖像并對圖像進行預處理，同時向邊緣服務器發送目標識別任務請求；接收邊緣服務器返回的二值神經網絡模型及相關可執行腳本，并執行二值神經網絡前饋計算，獲得圖像識別結果并暫存共享層輸出結果，判斷圖像識別結果的交叉熵是否滿足預設閾值，若不滿足，將共享層輸出結果發送至邊緣服務器進行前饋推理。本發明實施例引入二值神經網絡加速了網絡推理，減少了圖像識別加載時延以及設備能量消耗的壓力，可充分利用移動終端的計算資源，有效緩解邊緣服務器的計算壓力，為Web AR應用提供了實時的解決方案。

技術領域

本發明涉及增強現實技術領域，更具體地，涉及一種基于二值神經網絡的輕量化Web AR識別方法及系統。

背景技術

增強現實(Augmented Reality，簡稱AR)是一種將真實世界信息與虛擬世界信息進行無縫融合的技術，利用計算機信息仿真模擬一定時間和空間范圍內的實體信息，將這種虛擬的信息融入到真實世界中，提升用戶對真實世界的感知，從而達到超越現實的效果。增強現實包含了多種技術的融合，例如圖像識別、三維建模、傳感器融合、實時跟蹤及注冊和場景融合等。

目前增強現實系統主要是采用專業的設備(例如頭戴式以及眼鏡類設備)作為核心計算設備，以此滿足增強現實技術對帶寬和計算性能的要求，從而為用戶提供了良好的實時交互體驗。然而，由于設備的價格昂貴，攜帶不方便等因素制約了增強現實技術的大規模普適化推廣與應用。此外，近些年來，基于移動智能終端的增強現實技術能夠充分利用移動終端設備的硬件資源提供輕量化、移動化的增強現實服務。然而，這種方案需要下載安裝增強現實相關的應用程序(APP)后，才能體驗到增強現實的新技術。因此，基于移動智能終端的增強現實解決方案依舊存在增強現實技術大規模普適化推廣應用難的問題。而萬維網(WWW)技術以其天然的跨平臺性，為增強現實的大規模普適化提供了全新的入口與途徑。不再受限于特定的增強現實應用程序，互聯網用戶只需要通過點擊特定的超鏈接，便可以從終端設備瀏覽器直接體驗到增強現實技術，極大的降低了增強現實技術大規模推廣的門檻與成本。

圖像識別是增強現實系統的重要組成部分，只有精準、高效的輕量化識別算法才能在Web瀏覽器上為Web AR系統提供后續的追蹤和渲染。傳統的特征匹配識別算法受限于泛化識別能力弱，在復雜環境下的識別效果較差，難以直接應用于Web AR應用中。深度神經網絡(Deep Neural Network，簡稱DNN)因其強大的泛化能力和精準的識別率廣泛地應用于不同領域中。然而，通常DNN的模型比較大，計算量大，且主要應用于服務器端，難以直接部署應用于Web瀏覽器端。盡管一些JavaScript推理庫(例如Tensoflow.js、Keras.js等)實現了在移動Web瀏覽器上執行DNN網絡，但是模型加載和網絡前饋推理的時延仍然太高，并能量消耗高，無法有效應用于移動Web AR應用中，因此探索一種輕量化的識別系統是推進WebAR應用的重要問題之一。

發明內容

本發明實施例提供一種克服上述問題或者至少部分地解決上述問題的基于二值神經網絡的輕量化Web AR識別方法及系統。

第一方面，本發明實施例提供一種基于二值神經網絡的輕量化Web AR識別方法，應用于移動Web瀏覽器，包括：

加載目標圖像并對所述目標圖像進行預處理，向邊緣服務器發送圖像識別任務請求，以供所述邊緣服務器接收所述圖像識別任務請求，向所述移動Web瀏覽器發送預先訓練好的二值神經網絡模型以及相關的可執行腳本；

將經過預處理的所述目標圖像作為輸入，通過加載所述預先訓練好的二值神經網絡模型以及相關的可執行腳本來執行二值神經網絡前饋計算，獲得圖像識別結果，并在前饋計算的過程中暫存所述二值神經網絡模型的第一卷積層輸出結果；

計算所述圖像識別結果的標準交叉熵值，判斷所述標準交叉熵值是否滿足預先設定的閾值，若滿足，則輸出所述圖像識別結果；或者，